我是这样做的，先找代理网站爬下代理，然后定义验证地址来验证是否有限，然后存取
在正式用的时候，遇到无效的就记录无效次数加 1 ，成功的也记录次数加 1 ，然后一段时间内根据成功失败记录来清理代理池，留下定义多少概率的代理，

加个 headers 就可以了把

上 es 吧,以下是刚刚实测的,
111,130,586 hits 的数据,输入关键字也就几秒就检索完了.
三台 dell730 做成的集群

一直用 nginx,有台老机器要跳转走,准备慢慢下了,发现真心不太会设置啊,请教请教,多谢大家

请教下,^/$ 这个应该就是访问 www.a.com 这个根主页吧.
我发现就是这个规则不生效
请教下,如何设置当访问地址是 www.a.com/以外的都跳转走

我理解的是 /(.+)$=/$1,执行后,break 了,所以访问 google.com 就是正常的 google.com
如果注释了,就反代到 localhost 去了

放出来参考下吧

@zjb861107 我也是在网上随手复制了个例子,还没仔细看,是没闭合,不过不是这个问题,应该是我 yum 装了 python-lxml,又 pip install lxml 造成的,pip uninstall lxml 后可以了.

我接触 python 时间不长,刚想卸载了重新弄,bs 是 setup.py 装的,不知道怎么卸载,看了下 pip install bs 有,pip install lxml 也有,就都 uninstall 了,结果,发现可以了.
我安装 bs 是下载了源码,python setup.py install 安装的,然后 yum install python-lxml,这样使用没问题

后来出问题后,我 pip uninstall bs ,pip uninstall lxml,
然后 pip install bs,成功,但是 pip install lxml 失败,此时,我发现可以正常工作了.


再次,请教下各位,这几种安装方式,有什么区别?
yum
pip
python setup.py install

在线等.

@liangmishi 谢谢回复
>>> soup = BeautifulSoup(html,"lxml")
>>> print soup

>>>

马克下！！！！

@Kisesy 是的,我那样返回的是 str,刚学 python,多谢指点.

我那个 rewrite 返回的是 str,不是 dict,所以 proxies 传入的类型错误了,我刚看了下 p 的类型是 str,不是 dict,多谢各位.

@Kisesy
我的代理抓下来是 ip:port 格式保存的
我那个注释就是把代理改成{'http':'http://116.226.98.54:8118'} 格式

我传入的是 dict 啊,所以我才比较纳闷
[root@localhost sh]# python httpreq.py
{'http':'http://116.226.98.54:8118'} 这个是我打印出来的 proxy
True
'str' object has no attribute 'get'
None

马克

马克下，感谢分享

和楼主情况差不多.
自己写了脚本抓取天气预报,天气预警,监控雪球,抓取什么值得买,然后入库.

还没有用到多线程,scrapy,其实自学这种东西能坚持下去就是胜利.与所有自学人共勉.