吐槽贴：中级程序员现状

[JustZzer]

个人背景

1. 本人 4 年 python 爬虫经验，熟知各种电商网站的策略性反爬虫手段，虽然不是特别牛的那种，也算是可以独立解决市面上 75%的 WEB 反爬虫手段了，个人菜的点在移动端，移动端反爬虫手段对抗成功率 Android 反爬虫 50%，IOS 反爬虫 0%.
2. 在某公司待了 3 年，运维的技术点覆盖的也比较全面，没有深造过，基本的企业级运维任务是可以担任的，离职是因为 3 年涨薪 1000 块
3. 在武汉买房了，所以工作地点在武汉.
4. 自己在 24 年开了一家跨境网店，有一份不稳定收入（这也是为什么不想找单双休的原因）。

求职历程

结论

1. 出来后找了两份工作，第一份工作 13k ，领导只给了 3 个月（试用）完成国内所有的电商平台爬虫开发，现在这份工作是刚入职的 RPA ，早 9 晚 6 中休 1 双休不加班（两周了，没加过班），试用 8k 转正 9k （同时期有一份 12k 的 offer ，早 9 晚 7 中休 1 单双休，拒绝了）

途中

1. 武汉的需求环境相当恶劣（可能是我太菜了），低级程序员 3k ，高级爬虫程序员要求 Android 逆向、IOS 逆向、WEB 逆向、UI 自动、运维部署样样精通，这种 15k 起我也不能理解（太低了），中级爬虫程序员薪资基本上在 7~12k ，7k 的觉得自己这些年的努力白费工，12k 的单双休加班到人要死，又觉得对不起自己的身体。

问题点

1. 现在这家跨境电商（做的是商品跟卖，想要快速上架商品）公司老板想要完全体“全自动”，爬虫采集 -> RPA 润色商品属性 -> RPA 自动上架各个平台。可是公司之前明明就没有爬虫基础（技术人员只有 3 位 php 全栈），连个关于 Python 的 git 仓库都没有。
2. 上一份工作也是这样，什么都没有，招我一个人要完成狗多多、狗猫、狗宝、狗东、狗音等（半年期任务）。只是这回变成海外网站了。

此贴目的

1. 探讨当前爬虫岗位现状（也不一定，大家自由发言，我想了解的是公司对于岗位需求怎么都变成这样了？）
2. 为什么老板有需求的时候，会认为这些事情招一个人就能完事，就因为这个人曾经做过，直接把在自己的曾经做过的代码搬过来直接跑？且不说能不能搬，就算代码能搬，贵公司也没那个运行环境吧，招人完全都不调研自身的资源如何能达到自己想要的需求.连最起码得资源预算都不做，招人然后又开人（经历过，可以看故事点一）
3. PS：我发现好多公司都是 14~17 年建立的，我知道“富在术数，不在劳身；利在势居，不在力耕”，现在的老板们也是当年的打工仔，他们借东风成功，可对于缺乏原始积累的“我们”总要打工的吧，对于未来的路，各位都是怎么选择的呢？

故事点一

1. 从 3 年公司离职后（ 13k 的公司），耗时 2 个月爬虫代码、框架主体等全体 0-1 搭建好（中途完成公司内部其他任务），爬虫已完成了测试运行（先弄的狗东和狗多多），就需要开始处理验证码、账号手机号等必备资源，领导说账号手机号要我们自己搞（ what the fuck ？！），我跟他 battle 胜利了给我搞了 10 个手机号，刚开始让他慢点跑，10 个手机号完全顶不了多久，他说“不行”，1 个月我要全站数据（指定了分类），我 tmd 惊呆了...还是菜，说多的都是泪，后续结果就是 1 个月后给我开了，说我完不成任务。

[Light3]

哥们 上这种班 最后真的不会吃不了兜着走吗？

[JustZzer]

@Light3 赚钱啊老哥，爬虫本就是灰产，学的这门技术，现阶段以此为生（我自己开始运营了，转行的步骤在执行哈哈）

[pursuit9]

武汉的环境还是太恶劣了

[JustZzer]

@pursuit9 武汉的就业环境一直都非常恶劣，近两年来尤其恶劣，各行各业都低迷，优质的脑力劳动者在大量劳动体的冲击下挤压到向大厂进行高负荷工作，我这种既不聪明又不是多笨的普通人，直接被碾碎了

[pursuit9]

@JustZzer #4 OP 很不错了，武汉只能苟着，感觉没啥好的工作机会了。得早找出路

[xhatt]

有这技术不如去接单子了吧。而且换句话说这东西好像不合法吧。。。才这点工资？

[DesmondLeo]

爬虫岗是这样的，我也干了三年多，就没遇到过对爬虫有概念的领导和老板，总觉得：那数据不都放在那吗？都明摆着的数据叫你爬下来有啥难的？啥？加密？验证码？我不管那么多，这么简单的事情你都做不好就给我滚蛋！

我在广州，目前遇到的领导和老板对待爬虫的态度基本都是上面这个样子，程度轻重不同而已，他们不懂不理解也不愿意去理解，有时候做得真的心累，可能再干几年我也不想继续做爬虫了，得想想出路。

[JustZzer]

@xhatt 老哥可能不太了解爬虫的接单，我尝试过接单，移动端某黄色袋鼠软件的单子要求是某个区的所有同类型外卖店铺信息，这种级别他只报 1000 块。关于 WEB 的单子也谈过，就没超过 500 块的，有些人特别离谱，报我 50 块钱，让我拿某平台的发布的某年的所有官方信息，我真的懒得理他。

[JustZzer]

@DesmondLeo 同岗人员的理解，多谢。有时候真的会笑，感觉自身精神已经不正常了，老板会认为一个人就能干掉别人整个团队的风控系统，不管别人接入的三方还是自研风控，都不会让爬虫为所欲为。稳定的采集才是硬道理，要想加速就要加资源，爬虫的资源是非常贵的（例如居民代理、自研 OCR 平台或介入打码平台、模型程序的硬件支持），然而老板就是想给你一份死工资，把这些统统 0 成本解决掉！

[DesmondLeo]

@JustZzer #9 真实，老板一天天嚷着我们采集太慢了，一边又不乐意加服务器加实体机，然后到头来锅还是我们自己背，真 TM 心累

[xhatt]

@JustZzer #8 我觉得爬虫是很吃经验和技术的。因为其极不稳定的原因，三天两头就要更新代码。为啥给的钱这么可怜。。。

[NewtonLeibniz]

现在找新工作的要求越来越高了

[coolxll]

这才不到 20K 啊，就业环境真是恶劣

[JustZzer]

@xhatt 你说的对，经验与技术就是程序员量尺，然而爬虫更是这其中的能力对抗工作者，可能是因为对抗效果不太好 "实际考察"，导致市面上招聘者对爬虫程序员理解参差不齐，普遍的价格就压下去了，这也是恶性循环的一种。

[JustZzer]

@NewtonLeibniz
@coolxll
我的理解中，AI 出现后招聘者增加了对于 "应试" 工程的广度了解，缺乏深度需求的可行性探知，招聘者会小瞧与忽视了自身招聘岗位需求的全面，即符合表面工程的能力得到了曝光，就导致真正实力与经验的贬值。

[snake9804]

能合作吗？我电商方向，具体怎么合作还没想好，就觉得你特牛。能留个 base64 吗？聊聊天也行。

[snake9804]

我觉得你有几个个方向可以做：
第一个是直接利用好自己的爬虫技术，去做 web3 方向的开发。比如抓币安上币公告的自动交易 bot ，或者是链上套利的刮刀 bot 。不自己下场，收软件使用费。

第二个方向：做推特 api ，提供推特监控 bot or 推特信息流，结合到币圈的收费聚合群。有成熟的案例。

第三个方向：币 coin 实盘带单的实时跟单 bot ，也有案例。

以上三个方向都是卖铲子。不要自己下场操作。

然后下面再讲几个国内项目的

第一个：抖音的评论区爬虫+直播间爬虫。不自己提供账号，用户自己用 cookie ，你只提供程序。功能添加：评论区监控+直播间弹幕 进人的监控 输出的数据能让用户扫描二维码进主页即可。或者输出主页 id 。

第二个：小红书方向。小红书的指定关键词指定赛道对标账号的爬取，比如设定条件：发布 6 小时点赞数+评论+浏览等。自动爬取爆款模型。对接一个 au ，自动分析视频脚本，提供给用户。注：各个视频平台推流机制都是一样的。有一个爆款模型同行就需要迅速的跟上。具体客户可以搜索：私域 ad 广告 自热

这就是我能给的几个方向。

[snake9804]

另外，真高手不愁没饭吃。更刑更暴利的还有订单解密之类的。就不讲了。

[JustZzer]

@snake9804 ，真心感谢老哥提供的建议，做爬虫的或多或少接触涉及到老哥提出的方向，这些项目也接触过部分，实操过部分。还是十分肯定老哥的话 "真高手不愁没饭吃" 君子怀器，安如泰山。咱可以先沟通，多个朋友多条路：anVzdHp6ZXJAZ21haWwuY29t