V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
Mrrrrr10
V2EX  ›  Python

大众点评是不是把 ip 地址加密到了 cookie 中?还是说它可以识别到代理 ip?

  •  
  •   Mrrrrr10 · 2018-09-09 14:46:44 +08:00 · 4534 次点击
    这是一个创建于 2028 天前的主题,其中的信息可能已经有所发展或是发生改变。

    为什么买到的代理都被识别出来了,自己的 ip 又可以爬取,但是爬取评论必须要 cookie,所以我怀疑是不是 ip 被加密到 cookie 里面,有没有老哥说说

    17 条回复    2018-10-09 13:32:54 +08:00
    scukmh
        1
    scukmh  
       2018-09-09 16:00:25 +08:00
    这不是很正常的操作嘛?自己做一下 Web 开发就知道了啊,很多框架,比如 flask-login,默认的安全级别就是会加入 ip 地址验证的,建议你去爬手机客户端还靠谱一点。
    Mrrrrr10
        2
    Mrrrrr10  
    OP
       2018-09-09 16:32:54 +08:00
    客户端的信息被隐藏了,都是乱码
    fork3rt
        3
    fork3rt  
       2018-09-10 10:21:06 +08:00
    我做过大众点评的采集,貌似是这样的。不过我的解决方案就是 IP 代理池,完全没问题啊。
    rocketman13
        4
    rocketman13  
       2018-09-10 17:44:24 +08:00
    代理 ip 也分质量的
    Mrrrrr10
        5
    Mrrrrr10  
    OP
       2018-09-11 20:43:22 +08:00
    @fork3rt 我也是有 ip 代理池,免费的自己抓的,付费的也用了,都被识别出来,本机 ip 才可以,你用的哪一家的 ip
    fork3rt
        6
    fork3rt  
       2018-09-12 09:06:51 +08:00 via Android
    @Mrrrrr10 大象代理那里买的,做个重试机制,重试 10 次 不行的话,再换 IP
    fx0719
        7
    fx0719  
       2018-09-12 13:20:17 +08:00
    大佬能分享下代码吗?谢谢
    Mrrrrr10
        8
    Mrrrrr10  
    OP
       2018-09-12 15:50:51 +08:00
    @fork3rt 好的,我试一试,顺便问一下,有没有出现 302 被重定向到验证页面?我是用 cookie 登陆去抓评论的,您也抓评论吗?
    Mrrrrr10
        9
    Mrrrrr10  
    OP
       2018-09-12 15:51:32 +08:00
    @fx0719 现在我再解决 ip 问题,过一会我放到 github,在 @你
    fork3rt
        10
    fork3rt  
       2018-09-12 17:51:34 +08:00
    @Mrrrrr10 嗯,我也抓的评论。 貌似有 302 的情况,不过我做了判断,只处理 status_code 200,其他的情况 我都是立刻更换代理,然后重试。
    Mrrrrr10
        11
    Mrrrrr10  
    OP
       2018-09-14 01:18:32 +08:00
    @fork3rt 老哥,我换了大象代理,依旧不行啊,你模拟登陆了没有,我是用 cookie 模拟登陆的,你呢?
    fork3rt
        12
    fork3rt  
       2018-09-14 08:02:09 +08:00 via Android
    @Mrrrrr10 我也是用 cookie 持续会话,没遇到你这个问题
    Mrrrrr10
        13
    Mrrrrr10  
    OP
       2018-09-14 09:22:19 +08:00
    @fork3rt 能分享一下源码吗
    fork3rt
        14
    fork3rt  
       2018-09-14 11:47:20 +08:00
    qybing
        15
    qybing  
       2018-09-14 12:36:00 +08:00 via iPhone
    我也是遇到这个问题,似乎 IP 代理被识别出来了,你们都是登录过去抓的吗?如果要大规模抓取,这样岂不是要有很多账号?
    fx0719
        16
    fx0719  
       2018-09-17 12:55:35 +08:00
    楼主 github 地址多少,我关注一波
    yxh18600224123
        17
    yxh18600224123  
       2018-10-09 13:32:54 +08:00
    最近几天在爬,使用的芝麻 HTTP 代理 ip,付费的,遇到最后有评论的详情页面,就会被秒识别代理,直接 ban.而用本机 ip 可以正常获取几十个商户的信息,然后需要验证,暂时没找到解决办法.想找到怎么用付费的代理爬取
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5314 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 07:13 · PVG 15:13 · LAX 00:13 · JFK 03:13
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.