自建代理节点供爬虫使用，中央节点调配问题

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2726 天前的主题，其中的信息可能已经有所发展或是发生改变。

看到这个问题，想到目前网上卖代理的超卖现象很严重，代理质量越用越差。所以就想到自建代理节点的方案。

淘宝上有很多卖全国多地混拨的 VPS，想买个几台自建成代理节点给爬虫食用。

但是这里有个中央节点调度的问题，当其中一台或几台代理节点在重拨 ADSL 或故障的时候。中央节点返回当前可用的代理节点。

所以问题来了，有没有折腾成本低，免造轮子的方案

参考资料：

[1]: http://cuiqingcai.com/3443.html "Python 爬虫进阶七之设置 ADSL 拨号服务器代理"

4 条回复 • 2017-06-12 14:33:41 +08:00

coldwinds

2017-06-12 10:56:08 +08:00

关键词：代理池

qsnow6

2017-06-12 11:05:56 +08:00

@coldwinds

好像是这个叫法。。

刚看到个代理 IP 商的成熟解决方案

qsnow6

2017-06-12 11:06:11 +08:00

qsnow6

2017-06-12 14:33:41 +08:00