知乎疑似屏蔽了谷歌爬虫

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 223 天前的主题，其中的信息可能已经有所发展或是发生改变。

2024 年 4 月 28 日的谷歌快照显示允许谷歌索引

https://webcache.googleusercontent.com/search?q=cache:https://www.zhihu.com/robots.txt

https://www.zhihu.com/robots.txt

而最新的删掉了这些：

User-agent: Googlebot
Disallow: /appview/
Disallow: /login
Disallow: /logout
Disallow: /resetpassword
Disallow: /terms
Disallow: /search
Allow: /search-special
Disallow: /notifications
Disallow: /settings
Disallow: /inbox
Disallow: /admin_inbox
Disallow: /*?guide*

User-agent: Googlebot-Image
Disallow: /appview/
Disallow: /login
Disallow: /logout
Disallow: /resetpassword
Disallow: /terms
Disallow: /search
Allow: /search-special
Disallow: /notifications
Disallow: /settings
Disallow: /inbox
Disallow: /admin_inbox
Disallow: /*?guide*

屏蔽

谷歌

爬虫

2 条回复 • 2025-01-03 18:37:25 +08:00

liuhaitaoSB

223 天前

额,回想起前两天的什么中文互联网正在 GG, 这个是不是准备慢慢离开国际互联网

qqqfreeboycn

1 天前 via Android

今天看 https://www.zhihu.com/robots.txt 的时候已经恢复了谷歌必应百度的搜索