V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
songdezu
V2EX  ›  程序员

请问 NodeJS 有没有流行的爬虫框架?

  •  
  •   songdezu · 2017-09-27 21:48:54 +08:00 · 5935 次点击
    这是一个创建于 2406 天前的主题,其中的信息可能已经有所发展或是发生改变。
    多谢多谢,就是简单监视公司内部一个页面的变动 然后趴下来网页 parse 一下发个邮件通知
    3 条回复    2019-01-09 23:32:59 +08:00
    murmur
        1
    murmur  
       2017-09-27 22:50:40 +08:00
    防篡改系统?这东西直接后端在服务器上做不更好么
    mosliu
        2
    mosliu  
       2017-09-28 08:30:01 +08:00
    cron 定时
    request.get 扒网页
    cheerio 分析
    MD5 存储特征码。。 或者懒得话页面不大 直接比较源码=.=!


    感觉也就 20 分钟的事。。
    oneWalker12
        3
    oneWalker12  
       2019-01-09 23:32:59 +08:00
    Puppeteer
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3011 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 10:39 · PVG 18:39 · LAX 03:39 · JFK 06:39
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.