1
herozzm OP 想法是封禁所有阿里云的 ip ,大部分爬虫都部署阿里云上,我已经通过 https://bgp.he.net/search?search[search]=aliyun&commit=Search 得到了大部分的阿里云 ip
|
2
Buges 2022-01-03 18:37:31 +08:00 via Android
当然不能。真实 IP 是通过 X-REAL-IP 这样的应用层协议传输的,当然应该用应用层的防火墙拦截。
|
3
lhx2008 2022-01-03 18:37:41 +08:00
cdn 会带 http 头,显示源 IP ,这个时候可以 cdn -> 过滤器如 nginx -> 源服务器,然后通过过滤器解析 http 头做拦截
|
4
0x0021h 2022-01-03 18:37:54 +08:00
使用 X-Forwarded-For 可以获得真实的爬虫 IP 地址,然后封锁。
|
5
0x0021h 2022-01-03 18:38:30 +08:00
不过仅能在 CDN 的 firewall 上? ()
|
8
zingl 2022-01-04 02:22:45 +08:00
用自己的 IP 试一下,几分钟就知道答案了
|
9
tencentcloud 2022-01-04 12:15:41 +08:00
@herozzm 您好,目前腾讯云内容分发网络( CDN )支持一些简单的爬虫防护策略,比如说您可以根据爬虫请求设置 IP 黑名单,UA 黑白名单配置,http referer 防盗链等。如果您要求更高的爬虫防护,建议您使用安全加速产品(SCDN) Bot 爬虫防护功能,文档如下: https://cloud.tencent.com/document/product/1226/62782 ,感谢您对腾讯云的支持。
|