各位站长大佬，有遇过“百度蜘蛛”的“攻击“么？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 2053 天前的主题，其中的信息可能已经有所发展或是发生改变。

今天看了一下服务器的日志（每天 0 点切片），9 点半就已经有 200 多 MB 的日志，查询后发现主要是百度蜘蛛的 UA，
所有请求的来源 ip 基本都是国外的

部分日志的截图：

日志

蜘蛛

百度

切片

13 条回复 • 2019-04-14 14:18:10 +08:00

MODA1995

2019-04-14 10:12:02 +08:00

时间是 0 点到 5 点，这段时间少人访问
如果是攻击者伪造的 UA，那不应该在少人使用的时间段攻击吧
应该在使用高峰期攻击，影响用户访问，
如果真是百度的蜘蛛，这样爬是不是有点无耻了

oaix

2019-04-14 10:29:40 +08:00

nslookup 207.180.242.44
服务器: UnKnown
Address: 192.168.3.1

名称: vmi223288.contaboserver.net
Address: 207.180.242.44

应该不是百度的爬虫

http://help.baidu.com/question?prod_id=99&class=0&id=3001

newmind

2019-04-14 10:37:29 +08:00

明显不是百度的

catalina

2019-04-14 10:43:42 +08:00 via Android

这绝对是伪造的 ua 啊，百度怎么可能用境外的 ip 来爬你的站。。。
另外，前段时间我看见我 access.log 里有一堆 yandexbot，然后我上 yandex 查了一下，发现伪装成 yandexbot 扫描的恶意软件还挺多的。

westoy

2019-04-14 10:45:18 +08:00

这是被伪造成百度蜘蛛 UA 的采了或者 CC 了

我当年被 yahoo 爬虫爬挂过........

annoy1309

2019-04-14 10:45:35 +08:00 via Android

百度站长平台可以调整百度蜘蛛抓取时间、频次、深度。
而且这个明显不是百度的蜘蛛

id4alex

2019-04-14 11:16:57 +08:00

请认准 123 和 220 开头的 Baiduspider

MODA1995

2019-04-14 11:20:55 +08:00

@catalina 我也觉得是伪造的，不过就不明白为什么要在凌晨攻击，这样就不影响使用了

ccpp132

2019-04-14 11:22:25 +08:00 via Android

@MODA1995 不一定是攻击，可能就是爬数据

MODA1995

2019-04-14 11:43:26 +08:00

@ccpp132 一个单页，136W 爬的都是同一个页面

chinvo

2019-04-14 12:01:18 +08:00

百度应该不会

三十六蛋家的爬虫才是真狠

MODA1995

2019-04-14 12:15:10 +08:00

已经知道了，确实是有人攻击

billytom

2019-04-14 14:18:10 +08:00 via iPhone

其实就是有同行扒数据嘛，赶紧封了