首页   注册   登录
 frogex 最近的时间轴更新

frogex

V2EX 第 368733 号会员,加入于 2018-12-07 12:03:46 +08:00
淘宝反爬求解
Python  •  frogex  •  280 天前  •  最后回复来自 515576745
70
frogex 最近回复了
329 天前
回复了 frogex 创建的主题 Python 淘宝反爬求解
@xiao38245
手机淘宝是二进制的协议吧,要破协议,这个我没经验。而且直接抓接口的方法淘宝随便封更容易,感觉还是模拟人的操作稍微靠谱点
329 天前
回复了 frogex 创建的主题 Python 淘宝反爬求解
@IWSR
那能怎么办?讨论爬虫的帖子超级多,可讨论反爬的实在太少了,工作这么久身边也基本没一个人做过这些的
330 天前
回复了 frogex 创建的主题 Python 淘宝反爬求解
@dengtongcai
请看全文,不仅是登陆,是要长期稳定的爬,且能过各种滑块,目前最终方案在 23F, 放 win 虚拟机跑了
330 天前
回复了 frogex 创建的主题 Python 淘宝反爬求解
@dengtongcai
爬简单,要能稳定长期、全自动化、有效的爬才难啊
330 天前
回复了 frogex 创建的主题 Python 淘宝反爬求解
@yinaqu
淘宝检测了什么我不确定是不是只在 sufei_data 那个 js 里,从我分析看,至少有检测了 10 个函数,至少 headless 都 pass 了和非 headless 一样的结果。其他的实在看不下去了,都是混淆过的代码,命名 abcdefg,函数各种混着赋值,似乎要人肉维护一个函数调用关系
330 天前
回复了 frogex 创建的主题 Python 淘宝反爬求解
@soulmine
我也知道,公司安全的负责人也说,你一个人怎么能应付一个团队,不要硬肛,要想别的办法,但什么大淘客还是不行啊,搜不到我要的。 但这爬东西又是公司必须的任务,之前从来没搞过,忧虑了好久,总没彻底去解决。

淘宝也有付费 api,不过 leader 还是希望能神不知鬼不觉的用爬虫比较好
330 天前
回复了 frogex 创建的主题 Python 淘宝反爬求解
@lkwfive
没试过这个,有空试下吧,不过用什么工具 taobao 应该还是都会检测的
330 天前
回复了 frogex 创建的主题 Python 淘宝反爬求解
@yinaqu
工作很多年了,90%时间写 C++
330 天前
回复了 frogex 创建的主题 Python 淘宝反爬求解
@yumenlong
不会 pyqt,不过应该不只是 selenium 的问题,光看 taobao 的 js 就有 chromedriver 的指纹检测
330 天前
回复了 frogex 创建的主题 Python 淘宝反爬求解
@yangsi
当然可以,主要是不能确定靠什么检测的,试过 PhantomJS 也是不行
关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1158 人在线   最高记录 5043   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.3 · 11ms · UTC 18:22 · PVG 02:22 · LAX 10:22 · JFK 13:22
♥ Do have faith in what you're doing.