V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
pinews
V2EX  ›  程序员

PHP 爬虫如何降低 cpu 占用,其实只用到一个函数 getimagesize

  •  
  •   pinews · 2020-05-17 10:27:15 +08:00 · 2882 次点击
    这是一个创建于 1411 天前的主题,其中的信息可能已经有所发展或是发生改变。
    如果是 1920x1080 的图片就存下就算 md5,不过 40%不符合要求,49%图片不存在。
    现在似乎是 cpu 到顶了,10%的 cpu 一般在 7%。
    11 条回复    2020-05-18 21:44:01 +08:00
    RihcardLu
        1
    RihcardLu  
       2020-05-17 11:07:47 +08:00 via iPhone
    不要用库去获取,换系统命令或者 ffmpeg
    vus520
        2
    vus520  
       2020-05-17 11:14:27 +08:00
    这个 CPU 也不算高,兄弟。
    z5864703
        3
    z5864703  
       2020-05-17 14:51:16 +08:00
    其实楼主应该想说提高效率吧,爬的太慢处理的太慢
    pinews
        4
    pinews  
    OP
       2020-05-17 16:17:23 +08:00
    @z5864703 是的,
    vibbow
        5
    vibbow  
       2020-05-17 18:14:45 +08:00
    hefish
        6
    hefish  
       2020-05-17 21:27:34 +08:00
    别是没爬到本地,而是在线获取图片然后 md5 哒。。。
    PHPJit
        7
    PHPJit  
       2020-05-18 08:12:06 +08:00 via iPhone
    协程
    liuguang
        8
    liuguang  
       2020-05-18 09:59:14 +08:00
    php 是单线程的,有可能是 CPU 在下载的时候,等待 io 导致 CPU 占用高(猜测),也许可以用其它语言编写一个异步 io 的程序,说不定 CPU 就可以降不少,当然这只是猜测。到底是等待 io 造成的 CPU 占用多,还是计算图片大小,计算 md5 造成的 CPU 占用高,这个需要实际测一下才知道。
    pinews
        9
    pinews  
    OP
       2020-05-18 20:41:13 +08:00
    @hefish 就是啊,下载到本地还要删除,麻烦,需要计算 md5 的机会很少。
    pinews
        10
    pinews  
    OP
       2020-05-18 21:27:38 +08:00
    @liuguang io 不高的,ssd,文档说有 320,控制面板检测到的只有 2/秒
    @vibbow 好的 我试试
    pinews
        11
    pinews  
    OP
       2020-05-18 21:44:01 +08:00
    不过磁盘使用率是

    Maximum \ 34.80 %
    Maximum \mnt\resource 5.97 %

    不知道是什么意思?会不会这上面被限制了?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3221 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 11:39 · PVG 19:39 · LAX 04:39 · JFK 07:39
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.