推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
大众点评是不是把 ip 地址加密到了 cookie 中？还是说它可以识别到代理 ip？
Mrrrrr10 · 2018-09-09 14:46:44 +08:00 · 4752 次点击这是一个创建于 2267 天前的主题，其中的信息可能已经有所发展或是发生改变。
为什么买到的代理都被识别出来了，自己的 ip 又可以爬取，但是爬取评论必须要 cookie，所以我怀疑是不是 ip 被加密到 cookie 里面，有没有老哥说说
 |
1
scukmh 2018-09-09 16:00:25 +08:00
这不是很正常的操作嘛？自己做一下 Web 开发就知道了啊，很多框架，比如 flask-login，默认的安全级别就是会加入 ip 地址验证的，建议你去爬手机客户端还靠谱一点。
|
 |
2
Mrrrrr10 OP 客户端的信息被隐藏了，都是乱码
|
 |
3
fork3rt 2018-09-10 10:21:06 +08:00
我做过大众点评的采集，貌似是这样的。不过我的解决方案就是 IP 代理池，完全没问题啊。
|
 |
4
rocketman13 2018-09-10 17:44:24 +08:00
代理 ip 也分质量的
|
|
5
Mrrrrr10 OP @fork3rt 我也是有 ip 代理池，免费的自己抓的，付费的也用了，都被识别出来，本机 ip 才可以，你用的哪一家的 ip
|
 |
7
fx0719 2018-09-12 13:20:17 +08:00
大佬能分享下代码吗？谢谢
|
|
8
Mrrrrr10 OP @fork3rt 好的，我试一试，顺便问一下，有没有出现 302 被重定向到验证页面？我是用 cookie 登陆去抓评论的，您也抓评论吗？
|
|
10
fork3rt 2018-09-12 17:51:34 +08:00
@Mrrrrr10 嗯，我也抓的评论。 貌似有 302 的情况，不过我做了判断，只处理 status_code 200,其他的情况 我都是立刻更换代理，然后重试。
|
|
14
fork3rt 2018-09-14 11:47:20 +08:00
|
 |
15
qybing 2018-09-14 12:36:00 +08:00 via iPhone
我也是遇到这个问题，似乎 IP 代理被识别出来了，你们都是登录过去抓的吗？如果要大规模抓取，这样岂不是要有很多账号？
|
|
16
fx0719 2018-09-17 12:55:35 +08:00
楼主 github 地址多少，我关注一波
|
 |
17
yxh18600224123 2018-10-09 13:32:54 +08:00
最近几天在爬,使用的芝麻 HTTP 代理 ip,付费的,遇到最后有评论的详情页面,就会被秒识别代理,直接 ban.而用本机 ip 可以正常获取几十个商户的信息,然后需要验证,暂时没找到解决办法.想找到怎么用付费的代理爬取
|
Select Language