首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
探索世界的好奇心万岁
Udacity
网易公开课
Godel, Escher, Bach: An Eternal Golden Braid
V2EX  ›  分享发现

第一次见,robots 还真的把百度给挡了

  •  
  •   yaoye555 · 22 天前 · 2220 次点击
    14 回复  |  直到 2019-11-14 11:02:58 +08:00
        1
    shansing   22 天前
    原则上如果真的给挡了,百度甚至就不该显示这条索引结果。个人认为这还是在打擦边球,你看隔壁就清新很多:

    > 一些其他的搜索引擎有时会利用 anchor 等信息,对特定被禁止抓取的路径(如首页),生成和 nosnippet 等同效果的展现,但我们会慎重处理这种灰色地带的行为。
        2
    pi1ot   22 天前
    @shansing

    www.hi-pad.com/robots.txt
    User-agent: *
    Disallow:/app/
    Disallow:/admin/
    Disallow:/Framework/
    Disallow:/Public/
    Disallow:/Upload/

    并没有禁止全站抓取
        3
    pi1ot   22 天前
    不好意思打错域名了,确实禁止了全站抓取

    http://www.hi-pda.com/robots.txt
    User-agent: *
    Disallow: /
        4
    shansing   22 天前
    @pi1ot 唔,你域名打错了。请看 https://www.hi-pda.com/robots.txt
        5
    est   22 天前
    http://blog.est.im/robots.txt 这么巧。我也屏蔽了。BIDU
        6
    TomatoYuyuko   22 天前
    有很多啊,今天查菜鸟裹裹,发现他们官网就是限制了
        7
    nicoljiang   22 天前
    天猫的不就挡住了么?
        8
    yaoye555   22 天前
    @nicoljiang 以前用百度没发现, 刚刚去搜了几个关键词 确实都被挡了
        9
    zdnyp   22 天前
    你见过百度搜索结果里有淘宝宝贝?...
        10
    Orciorc   22 天前 via Android
    这个,没有哪个大搜索引擎不遵守吧,毕竟会碰上法律责任的。
        11
    chtan   22 天前 via iPhone
        12
    lovestudykid   22 天前 via iPhone   ♥ 1
    @shansing 隔壁的 Google 行为跟百度一样
    ImageHi!PDA › forum
    Web results
    HiPda
    No information is available for this page.
    Learn why
        13
    auchan   21 天前
    @shansing google 一样可以搜索到的,搜出来的样子和百度的差不多
        14
    shansing   21 天前
    @lovestudykid
    @auchan
    我说的隔壁是 Magi 啦(逃
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2536 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 24ms · UTC 14:49 · PVG 22:49 · LAX 06:49 · JFK 09:49
    ♥ Do have faith in what you're doing.