V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
annoygaga
V2EX  ›  程序员

爬虫工程师的前途如何?

  •  1
     
  •   annoygaga · 2018-05-22 23:28:36 +08:00 · 7080 次点击
    这是一个创建于 2163 天前的主题,其中的信息可能已经有所发展或是发生改变。

    小弟不才,这次拿了某大厂的爬虫工程师岗位(第一份工作)

    一开始不知道是爬虫工程师,因为投递的是后台开发岗位

    现在想问问

    • 第一份工作做爬虫有提升嘛?

    • 第二份工作能不能换回后台开发或者架构方面的东西(兴趣所在),该怎么做?

    • 爬虫工程师难点在哪?

    • 爬虫工程师有什么前景呢?

    7 条回复    2019-09-17 11:48:24 +08:00
    annoygaga
        1
    annoygaga  
    OP
       2018-05-23 00:49:17 +08:00
    没人么。。。
    stamaimer
        2
    stamaimer  
       2018-05-23 07:41:18 +08:00 via iPhone
    哪个大厂
    Shazoo
        3
    Shazoo  
       2018-05-23 08:44:00 +08:00
    如果人家目前框架都现成,只是找人做做维护+反反爬+新规则,那潜力有限。

    不过还是看自己的学习能力。
    UIXX
        4
    UIXX  
       2018-05-23 09:28:40 +08:00
    单爬虫没有什么技术含量,难点也不多,天花板很容易看见。
    做爬虫的人一定要往数据分析 /挖掘--深度学习上面靠才有往前的空间。
    我这边现在没有这个岗位,爬什么东西都是某个工程师顺带做做的,真正有价值的工作是如何利用爬下来的数据。
    andyliwrldk
        5
    andyliwrldk  
       2018-05-23 10:28:51 +08:00
    表示用 python 和 nodejs 搞过爬虫
    fghjghf
        6
    fghjghf  
       2018-05-23 11:55:11 +08:00
    随着行业发展,开放的数据数据越来越开放,封闭的数据你根本爬不了。而且爬了也没用,关键要数据清洗分析,这个才是大头这类岗位不多,市场不看好
    DOUWH
        7
    DOUWH  
       2019-09-17 11:48:24 +08:00
    兄弟转行吧,爬虫凉透了,这一周爬虫工程师被抓起来好多了,出力不讨好,还有法律风险
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   983 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 22:00 · PVG 06:00 · LAX 15:00 · JFK 18:00
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.