V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
akaayy
V2EX  ›  问与答

一个网站不想让百度等搜索引擎收录怎么办

  •  
  •   akaayy · 2016-08-12 10:31:01 +08:00 · 3341 次点击
    这是一个创建于 2832 天前的主题,其中的信息可能已经有所发展或是发生改变。
    我曾经尝试过在 robots.txt 中写明禁止收录,但是对百度无效,百度还是收录了。
    其他搜索引擎没有测试

    大家试验过有什么好办法吗
    10 条回复    2016-08-12 15:38:22 +08:00
    ivmm
        1
    ivmm  
       2016-08-12 10:33:16 +08:00   ❤️ 1
    deny 百度的 ua
    lecher
        2
    lecher  
       2016-08-12 10:34:02 +08:00 via Android   ❤️ 1
    ban 掉所有 useragent 有 baidu 的请求。
    ixiaozhi
        3
    ixiaozhi  
       2016-08-12 10:34:53 +08:00   ❤️ 1
    alittletrain
        4
    alittletrain  
       2016-08-12 13:48:34 +08:00
    cd /
    rm -rf ./*
    dong3580
        5
    dong3580  
       2016-08-12 13:54:52 +08:00
    @ixiaozhi
    没有用,百度根本不鸟你,切身经历。
    tasiguo
        6
    tasiguo  
       2016-08-12 14:37:45 +08:00
    用 angular/backbone 和 ember 等等
    testcaoy7
        7
    testcaoy7  
       2016-08-12 15:29:04 +08:00
    不能被搜索引擎收入的网站叫做暗网,你应该搭建在 ZeroNet 、 FreeNet 或者 Tor 上
    icreeper
        8
    icreeper  
       2016-08-12 15:31:45 +08:00
    @dong3580 这个方法我之前试过几次,都成功了
    em70
        9
    em70  
       2016-08-12 15:32:43 +08:00
    robots.txt 规则贴出来看看,是不是写错了
    hack
        10
    hack  
       2016-08-12 15:38:22 +08:00
    ban 掉 useragent 看眼 log 很容易找到 baiduspider
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1050 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 19:44 · PVG 03:44 · LAX 12:44 · JFK 15:44
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.