关于爬虫 IP 代理的疑问

[lysS]

就是因为一般咋们花钱得到的代理 IP 很多也是代理提供商在全网扫描得到的，稳定性和可靠性都得不到保障。假如在某次爬取的过程中，目前使用的 ip 突然挂了，是不是这次爬取操作失败了，得重新再来过？？

[locoz]

不，正常的商业级代理 IP 都是家宽拨号弄的，只有某大象是爬的别人的。扫全网 IP 扫出来的代理服务器不管是稳定性还是速度还是 IP 质量，都不如拨号弄出来的 IP 好。

[locoz]

@locoz #1 “都不如拨号弄出来的 IP 好” -> “都不如拨号弄出来的代理服务器好”

[lysS]

@locoz 有推荐的吗？量不是很大，如果有量贩就最好的啦

[VisionKi]

我是把 IP 批量存入 redis 的 set 集合里，然后跑的过程，遇到不能用的就去掉这个 IP，再随机取一个 IP 重新爬一次这个页面。

[locoz]

@lysS #3 多贝云啊、芝麻代理啊都是可以的，IP 质量要求不高的话直接自己搭更便宜。

[QdouHuiQwaiLai]

收费的代理一般都是用服务器拨号的 不是扫描得到的

[lysS]

@locoz 谢谢

[lysS]

@QdouHuiQwaiLai 在几家花几块钱试了一下，可用率都很低，多半是扫的，不过这几家是比较小的，主要想要量贩的