MJ12bot 这个 bot 是干嘛的= =

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

这是一个创建于 3013 天前的主题，其中的信息可能已经有所发展或是发生改变。

151.80.41.169 - - [15/Feb/2016:13:12:14 +0800] "GET /robots.txt HTTP/1.0" 200 257 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.5; http://www.majestic12.co.uk/bot.php?+)"; -

一天同一个页面爬好几次。

google 上只找到说是万维网搜索引擎研究项目

mj12bot

万维网

151.80.41.169

v1.4.5

1 条回复 • 2016-02-16 20:40:38 +08:00

zxgngl

2016-02-16 20:40:38 +08:00

http://www.majestic12.co.uk/projects/dsearch/mj12bot.php