Googlebot 能探测到 cloudflare 后面网站的真实服务器 ip 吗？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 3024 天前的主题，其中的信息可能已经有所发展或是发生改变。

目前准备买一台大容量的服务器，以后做网站都在这上面了，但是貌似多个网站挂在同一个 ip 上对 SEO 不太友好，而且假设一个网站被谷歌反感了，貌似这个 ip 上的网站都要被牵连，我在想用 cloudflare 这种前端 cdn 把这台服务器罩一下，是不是谷歌就察觉不出来我的所有网站都在同一个台服务器同一个 ip 上了？

Cloudflare

网站

同一个

服务器

44 条回复 • 2016-08-26 09:04:05 +08:00

xupefei

2016-08-19 21:41:11 +08:00

> 而且假设一个网站被谷歌反感了，貌似这个 ip 上的网站都要被牵连
有这回事儿？那如果你挂了 CF 以后再被反感，同一个 CDN 上的几百个网站全玩完？怎么可能嘛。

Reign

2016-08-19 21:49:39 +08:00

@xupefei 貌似曾经看到过同 ip 虚拟主机受诛连的文章

huihuimoe

2016-08-19 22:00:33 +08:00 via Android

@Reign (多少年前的文章？

Marfal

2016-08-19 22:00:48 +08:00

不能

同 IP 多网站不受影响，另外 CF 抗 D 很强，加速一般，因为免费及 Pro 版本，是没有中间回源的。电信联通解析到美西节点，为国内提供服务还是多考虑考虑。

Reign

2016-08-19 22:10:44 +08:00

@huihuimoe 09 年 10 年的时候吧，那时候才入门，看了很多 SEO 的文章，就讲了这个

yexm0

2016-08-19 22:23:27 +08:00 via Android

好像 cf 对搜索引擎回源的吧。

Marfal

2016-08-19 22:35:17 +08:00

@yexm0 怎么可能回源

zaishanfeng

2016-08-19 22:39:38 +08:00 via Android

cf 国内不友好。用 cf 可以达到你目的。其实你可以买多 ip 的服务器，加个 ip 要不了多少钱。

imcocc

2016-08-19 22:42:47 +08:00 via iPhone

看过英文博客说 cf 对 googlebot 返回源值。等会我去测试一下

有点可以肯定，如果这些站不互链，没影响的。有人用 12 刀一年的 GD 共享 ip 主机 seo 做到第一

ray1980

2016-08-19 22:47:15 +08:00 via iPhone

@imcocc 同 IP 的站不要互链？

dynos01

2016-08-19 22:55:09 +08:00 via iPad

@imcocc 如果这样我伪装成 googlebot 不就能探测到真实地址了。。。。

imcocc

2016-08-19 23:03:12 +08:00 via iPhone

@dynos01 我也是想用这个思路测试

imcocc

2016-08-19 23:04:37 +08:00 via iPhone

@ray1980 对，互连就完蛋， google 站长手册里有这条。

cocochan

2016-08-19 23:12:15 +08:00

@dynos01
@imcocc 你得伪装成谷歌 bot 的机房，他们有一个专用的 DNS 来解析回源 -> 这是目前绝大多数 DNS 搜索引擎回源方案， CloudFlare 应该也是

azh7138m

2016-08-20 00:14:19 +08:00 via Android

@cocochan 代码跑在 GAE 这种地方上可以吗？

ranran

2016-08-20 00:15:06 +08:00

@dynos01 不在一个层面…… 你都能提交 HTTP 请求了（模拟谷歌）说明已经过了获取 IP 的那个阶段人家还怎么返回 IP 给你哈哈哈！

imcocc

2016-08-20 00:35:16 +08:00

以为是很简单的测试,真测起来发现好难不会弄 GAE ,用 python 套 GAE 代 /+-0-理获取网站 ip 的难度好大 ,没搞好(我技术菜)

我就想出了另一个简单的方法,CF 里设置对网站站进行 Auto Minify (js,css,html), 正常访问,网站源码里带 CF 的 js 代码. firefox 改成 googlebot UA 后, 网站源码里 CF 的 js 消失(或者说 Auto Minify 的影响消失).

用 python+requests+GAE 的 ip. 结果同上.

UnisandK

2016-08-20 00:41:24 +08:00

为什么不反过来想想， CDN 要是对搜索引擎回源，意味着后端只允许 CDN 的 IP 访问的服务器会直接无法被收录，这可是常见的安全配置

cocochan

2016-08-20 00:44:10 +08:00

@azh7138m 不可以，他们机房都是有专门的 DNS 解析的

mytsing520

2016-08-20 00:56:08 +08:00

@Marfal 已经备案的网站，在 CF 可以使用中国大陆节点

Balthild

2016-08-20 01:03:36 +08:00 via Android

@imcocc 也许考虑过 CDN ，对比如 CF 的同 IP 互链免疫呢？

Marfal

2016-08-20 01:09:30 +08:00

@mytsing520 然而如果你源站在国外，回源炸裂。

Technetiumer

2016-08-20 01:29:03 +08:00

应该不能
顶多会刷新缓存或忽略缓存直接代理
不然只要在 GAE 上模拟 Googlebot 不就能探测到真实地址了，防护就没意义了，直接 D 源站

imcocc

2016-08-20 05:32:38 +08:00 via iPhone

@Balthild 免疫不了，也许一个两个站不会有问题。

别想着新站互链提高权重了，新站都是缺奶的孩子，一帮小奶娃你顶我我顶你。意义不大。靠老的权威站传递权重救济才是王道。

czb

2016-08-20 05:38:37 +08:00 via Android

@Technetiumer GAE 反向解析结果是跟 Google Bot 不一样的

ray1980

2016-08-20 06:21:23 +08:00 via iPhone

@imcocc 我都是互链的，完蛋

zjl88858

2016-08-20 10:05:33 +08:00

@xupefei CF 一般一个 ip 就不到 10 个网站。。。百度云加速除外

xiaozuo

2016-08-20 10:06:19 +08:00 via iPhone

别忘了谷歌是 CF 的投资者之一

coyove

2016-08-20 10:06:49 +08:00

http://www.crimeflare.com/cfs.html

wdlth

2016-08-20 11:09:20 +08:00

提出多网站在同一 IP 上不友好的人中不乏卖独立 IP 的虚拟主机商，他们告诉大家：“想一想，不充钱你会变得更强么？！”

ivmm

2016-08-20 11:31:56 +08:00

@coyove 这个网站。。。。

mytsing520

2016-08-20 12:53:26 +08:00

@Marfal 并不是访问直接穿透，有中央处理集群

Marfal

2016-08-20 13:06:44 +08:00

@mytsing520 求详解。。

FreeDog

2016-08-20 16:15:43 +08:00

@mytsing520 只有企业用户 Plan 可以用中国网络，而且似乎还不支持 HTTPS..

mytsing520

2016-08-20 18:49:14 +08:00

@Marfal

许多用户---→CDN 近源节点---→中央处理集群---→与源站网络质量最好的节点（随机访问）---→源站

Marfal

2016-08-20 19:03:53 +08:00

@mytsing520 这不是一样的吗，比如说源站在 LAX ，用户解析到的 CDN 节点在 HKG ，这时候没有缓存的请求就直接从 HKG 到 LAX 了，我测试是这样，免费和 Pro 都是这样，价格更高的 Plan 才能用中间源。

你说的中央处理集群指什么？

mytsing520

2016-08-20 19:19:05 +08:00

@Marfal
可以强制要求路由从中央处理集群（可以是内网）对数据进行集中化处理后下发的

mytsing520

2016-08-20 19:24:12 +08:00

@Marfal 另外，与源站访问质量最好的节点（随机访问）并不作为解析获得的对用户直接提供访问

Marfal

2016-08-20 19:26:22 +08:00

@mytsing520 当然不是直接穿透啊，而且处理是在本地处理的，是没错啊。但是我一开始说的是如果源站在国外的话回源很慢。因为 CF 并不是传统意义上的 CDN ，反代的意味更大。

mytsing520

2016-08-20 19:29:48 +08:00

@Marfal 我的意思是， CDN 边界节点，只作为反向代理进行数据发送的任务，数据处理等业务交由计算能力更强大的中央集群化机器进行处理，这样速度会快的多，而且负责向客户展示的机器只做向客户展示，而不是去抓取源站

Marfal

2016-08-20 19:44:23 +08:00

@mytsing520 从头到尾我没想和你讨论这个啊。。你说的确实是对的，但是网络不行处理能力再强也没用，我试过在源站（ LAX ）下载 CF 反代后的文件，带宽是能跑满的。

跨数据中心可能有内网连接（我没试过），但那是给中间源用的，比如我上面提到的例子 Client <--> HKG Datacenter <--> LAX Datacenter <--> Source ，但是 Free 以及 Pro 套餐是这样的 Client <--> HKG Datacenter <--> Source 。你懂了吧？

Marfal

2016-08-20 19:47:43 +08:00

@mytsing520 你说的 Edge 节点和处理节点其实是在同一个数据中心的，从宏观看还是一个 Pop 。

kmahyyg

2016-08-22 08:28:30 +08:00

提醒一个不相干的问题，最近 cf 的 cdn 被 ddos 的厉害，我的站被连累的躺了好几次，直接被 vps 提供商 ban 了账号.......

dsg001

2016-08-26 09:04:05 +08:00

页面底部隐蔽输出来访 UA 、 IP ，等 GG 收录之后，查看缓存中的 UA 、 IP 就晓得了