V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
bugsnail
V2EX  ›  外包

有偿找个爬虫工程师爬个数据(非隐私敏感信息/非电商)

  •  
  •   bugsnail · 113 天前 · 803 次点击
    这是一个创建于 113 天前的主题,其中的信息可能已经有所发展或是发生改变。

    要求

    熟悉 scrapy+scrapy-redis 组件来实现增量式及分布式爬虫,对目标网站进行大规模爬取后存入 Mysql 数据库;

    实现异步多任务爬取,单次爬取全站,更新周期为月度或者季度

    熟悉处理网站的各种反爬(验证码、代理池等);

    有 3 年以上大量数据的爬取开发经验

    熟悉 xpath 、RE 、str 方法对数据进行抽取与清洗

    熟悉 redis 及 Mysql 数据的存入

    良好的编码能力(代码架构/注释)、良好的学习能力(业务沟通及理解)、分析问题解决问题的能力(突破反爬);

    联系方式

    vx(base64):ODUwNzc5NDk1IA==

    第 1 条附言  ·  108 天前
    已找到人了
    目前尚无回复
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4693 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 04:03 · PVG 12:03 · LAX 20:03 · JFK 23:03
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.