如何高效安全的使用多线程

这么问的原因呢是今天写的爬虫遇到好几次 403,首先使用单线程，除了速度太慢，访问没有问题，后来加了多线程，速度那是杠杠的，结果悲剧了，没有几分钟就 403 了，再后来加了 sleep,结果发现多线程使用确定的 sleep 和没加一个样，最后使用 sleep+=5,每次调用 sleep 的时候自增长，发现又回到第一个问题，效率太低了，请教大家的爬虫是怎么解决的

sleep

多线程

爬虫

使用

11 条回复 • 2015-11-16 14:15:45 +08:00

bdbai

2015-11-15 20:36:27 +08:00 via iPhone

目测服务器是按照每个 IP 限制请求的，同一个 IP 再折腾也没用。

kendetrics

2015-11-15 20:43:09 +08:00

每个线程走不同的代理

honmaple

2015-11-15 21:38:53 +08:00

@kendetrics 请教应该怎么设置代理
def __init__(self):
self.proxylist = ('120.195.199.251:80',
'110.73.7.198:8123')
self.proxies = {'':random.choice(self.proxylist)}
self.user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
self.headers = { 'User-Agent' : self.user_agent }

def contentlist(self,url):
proxy = urllib.request.ProxyHandler(self.proxies)
opener = urllib.request.build_opener(proxy, urllib.request.HTTPHandler)
urllib.request.install_opener(opener)
request = urllib.request.Request(url=url, headers=self.headers)
response = urllib.request.urlopen(request)
content = response.read().decode('utf-8')
return content
我这样写有什么错误，不管怎么换 ip,结果还是 403