V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
showecho
V2EX  ›  程序员

PHP +mysql 如何执行一个长时间的导出任务?

  •  
  •   showecho · 2018-11-30 11:09:50 +08:00 · 2167 次点击
    这是一个创建于 2169 天前的主题,其中的信息可能已经有所发展或是发生改变。
    一个资料筛选和导出任务,涉及多个表,每个表有 10-30 个字段,很多字段会被定制比如省份和城市,可以让用户选择哪个省和哪个城市,如果一次需要导出个十万条,就要执行十万次循环,每次循环执行几十次筛选条件,cpu,
    内存,时间什么 的都是压力。

    怎么写可以实现?
    14 条回复    2018-12-01 18:44:44 +08:00
    glacer
        1
    glacer  
       2018-11-30 11:15:09 +08:00
    这个应该是数仓的活
    ferock
        2
    ferock  
       2018-11-30 11:16:58 +08:00 via iPhone
    命令行
    orqzsf1
        3
    orqzsf1  
       2018-11-30 11:21:21 +08:00
    缓存?
    aloyuu
        4
    aloyuu  
       2018-11-30 11:23:20 +08:00
    最致命的是 PHP 有超时......
    teg1c
        5
    teg1c  
       2018-11-30 11:46:37 +08:00
    异步队列处理吧。
    oneonesv
        6
    oneonesv  
       2018-11-30 17:21:42 +08:00
    php-cli 异步处理
    pinews
        7
    pinews  
       2018-11-30 18:22:03 +08:00
    确定不是黑?
    changepll
        8
    changepll  
       2018-11-30 18:55:25 +08:00
    @pinews 你让我笑出声
    pinews
        9
    pinews  
       2018-11-30 20:22:14 +08:00
    @changepll
    @aloyuu
    @oneonesv
    @ferock 长时间执行可以考虑 set_time_limit(0),然而这和 php 没关系吧,具体在说什么不知道,若确实程序复杂,可以生成中间表,分批完成。
    947211232
        10
    947211232  
       2018-11-30 22:47:58 +08:00
    方案一:死数据一次写入缓存就够了,往后直接读取缓存
    947211232
        11
    947211232  
       2018-11-30 22:48:39 +08:00
    方案二:死数据写配置文件 json 格式什么都好,能读出来就可以
    947211232
        12
    947211232  
       2018-11-30 22:50:50 +08:00
    方案三:影响 php 性能的尽量找合适的工具、方案,又不是上学时候老师规定只能 php+mysql
    gujinxin
        13
    gujinxin  
       2018-12-01 11:55:59 +08:00 via Android
    异步队列吧,好了之后把文档存在目录上,给前端推消息,前端点击下载
    DylanChou
        14
    DylanChou  
       2018-12-01 18:44:44 +08:00
    存储过程?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1004 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 20:46 · PVG 04:46 · LAX 12:46 · JFK 15:46
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.