如何保护网页中的字符串（比如邮箱）不被爬虫获得？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 3239 天前的主题，其中的信息可能已经有所发展或是发生改变。

我想到一种方式是：

请将下面的字符串放入 bash 执行以获得网址：
$ x1="v"; x2="2"; x3="e"; x4="x"; echo $x1$x2$x3$x4.com

然后得到：
v2ex.com

大家还有什么更聪明的办法吗？

字符

bash

echo

网址

21 条回复 • 2016-01-17 07:15:32 +08:00

zxgngl

2016-01-15 17:52:42 +08:00

我现在脑海里出现一个短语：“ program as data ”

oott123

2016-01-15 18:20:00 +08:00

你用 js 写一个不就好了…

别说爬虫会执行 js ，我不觉得爬邮件地址的爬虫也会执行 js …

openroc

2016-01-15 18:24:18 +08:00

参考一下， hidemyass.com 里面关于代理 ip 的保护方式。不影响用户使用，让写爬虫的崩溃。哈哈。。。

https://www.hidemyass.com/proxy

cdwyd

2016-01-15 18:27:35 +08:00 via Android

做成图片

dangge

2016-01-15 18:28:06 +08:00

我倒是觉得百度知道的做法很好
当某 IP 疑似爬虫时，将网页中某字符用图片显示

不过看了下楼上， js 确实是很好的方法，估计 95%的爬虫都能过滤掉。

jarlyyn

2016-01-15 18:32:16 +08:00

@oott123

爬虫当然可以执行 js 。

我之前做过，没啥技术含量，监控百度的关键词排名的。

用 canvas 吧。

Lancercf

2016-01-15 18:33:44 +08:00

写到 js 里，判断 ua ，访问次数限制，验证码，先想到这些吧

alexapollo

2016-01-15 18:42:40 +08:00 via iPhone

js 渲染，图片， css 渲染（善用隐藏）
这是最经常碰到的几个方法

Delbert

2016-01-15 18:43:16 +08:00 via Android

bdo 标签顺序 dir=“ rtl ”
然后邮箱挑一部分反向输入。

oott123

2016-01-15 18:46:41 +08:00

@jarlyyn 我的帖子的意思是，考虑一个用来发垃圾邮件的邮箱爬虫，他会执行 js 的概率很低。

sumhat

2016-01-15 18:54:08 +08:00

安利一个自制的 WordPress 插件： Enigma https://wordpress.org/plugins/enigma/

jamesxu

2016-01-15 19:16:47 +08:00 via iPhone

参考这个： http://mp.weixin.qq.com/s?__biz=MzA3NDM0ODQwMw==&mid=210665223&idx=1&sn=587b738b3dae0222f14feb509ce1b60f&scene=4#wechat_redirect

taijia

2016-01-15 19:25:31 +08:00 via Android

爬虫执行 js 不是什么难事

SuperFashi

2016-01-15 19:51:23 +08:00

cloudflare 就会把邮箱加密……

TaMud

2016-01-15 21:00:13 +08:00

直接用 css 来控制显示不就好了，简单高效

onice

2016-01-15 23:12:06 +08:00

为什么你不直接生成图片。。。

boro

2016-01-15 23:17:04 +08:00 via iPhone

webfont

hzlzh

2016-01-15 23:33:38 +08:00

base64

lincanbin

2016-01-15 23:40:02 +08:00

@taijia 虽然爬虫能执行 js ，然而实际上考虑资源，他们并不会真的去执行 js 。
光用 document.write 分段写入，就能拦住不少爬虫了。

mengskysama

2016-01-17 01:13:10 +08:00

换成图片哈哈哈哈

Gce

2016-01-17 07:15:32 +08:00

@mengskysama 你居然还能上网发帖逃.....