V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
fdsfsdfsdf3334
V2EX  ›  问与答

网上那些抓数据的软件,是怎么躲过对方服务器封ip的?

  •  
  •   fdsfsdfsdf3334 · 2014-01-03 04:37:45 +08:00 · 4002 次点击
    这是一个创建于 3972 天前的主题,其中的信息可能已经有所发展或是发生改变。
    那些采集软件, 或者那些数据抓取的软件

    他们去抓人家的数据
    人家服务器肯定限制了访问频率

    他们怎么避免被封ip的?


    我目前可以想到2个方案

    1.分布式采集
    2.N个vps上装个http或者socks5代理,挨个轮换代理采集
    3。。。。。。


    大家来参与交流下

    看看还有什么办法么,
    5 条回复    1970-01-01 08:00:00 +08:00
    alay9999
        1
    alay9999  
       2014-01-03 07:48:48 +08:00
    也可以用代理吧,听说代理很便宜
    zencoding
        2
    zencoding  
       2014-01-03 08:02:42 +08:00
    lz没听说过tor吗
    a2z
        3
    a2z  
       2014-01-03 08:09:22 +08:00   ❤️ 1
    我有全世界的socks5服务器列表,外加tor
    n0b0dy
        4
    n0b0dy  
       2014-01-03 19:25:52 +08:00
    @a2z 如果方便的话 求分享部分socks5 服务器地址, 最好带端口
    邮箱地址 [email protected] 已感谢 ;)
    dingdong
        5
    dingdong  
       2014-01-07 17:11:35 +08:00
    有很多分享代理的网站,直接去抓下来测试可用就行
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5395 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 01:23 · PVG 09:23 · LAX 17:23 · JFK 20:23
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.