我在服务器 centos7 上(已经关闭防火墙)写爬虫爬取同一个网站的文章(大概一秒访问几次那样,即频繁访问了),经过一段时间后,发现访问不了那个网站了。
ping 一下那个网站,能够 ping 通。我刚开始以为是那个网站屏蔽了我的 ip ,但是我这时候在同一个内网的另外一个服务器运行是可以访问的,这说明不大像被屏蔽 ip 了;而我在同一台服务器能够正常访问其他网站,这说明不是网络出现问题了。再后来,我发现重启服务器之后就可以了,这说明,确实是本地的问题。重启后正常,可是隔段时间又出现同样问题。
我尝试过重启网络服务,但是没效。总不能遇到问题就重启吧?大家帮忙想想,这是什么原因所致?感觉应该是服务器本身的问题。
1
ylqjgm 2016-03-13 09:40:53 +08:00
会不会是 cookie 什么的?
|
2
littlehz 2016-03-13 09:43:01 +08:00
抓太多,本地端口不够用了吧。出问题的时候执行下,看看用了多少端口。
``` ss -ant | awk '{++s[$1]} END {for(k in s) print k,s[k]}' ``` |
3
flynaj 2016-03-13 09:45:27 +08:00 via Android
netstat
|
4
bojone OP |
7
joe1213 2016-03-13 10:20:12 +08:00 via Android
针对同一个 ip+端口做的防攻击策略吧。你重启再连端口换了
|
9
asp 2016-03-13 10:43:51 +08:00
先看看抓其他站会不会这样,目测是有防火墙
|
11
joe1213 2016-03-13 12:56:11 +08:00 via Android
用代理服务器啊。免费的网上可以找到定时更新的列表,也有收费的。一个代理挂了换另一个,就是这个服务器列表要自己去维护了
|
14
wayslog 2016-03-14 14:00:14 +08:00
屏蔽策略有的是限制来源 ip ,有的是限制 ip+port 的,单凭另一台机器的状况不能判断问题。
|