V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
falcon05
V2EX  ›  问与答

最近什么情况,你们有没有发现亚马逊的爬虫疯狂爬站

  •  
  •   falcon05 · 13 天前 · 280 次点击

    直接把我 1c1g 的 1M 带宽的小鸡负载弄到了二三十,动弹不得,受不了了,只好把他家的 UA 拉入黑名单。 查了一下 ip:

    52.70.240.171
    23.22.35.162
    3.224.220.101
    

    这些似乎也确实是他家的 ip ,它家有什么搜索引擎?访问记录是这样的,

    3.224.220.101 - - [09/Sep/2024:13:45:32 +0800] "GET /80781 HTTP/1.1" 403 150 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)"
    
    
    目前尚无回复
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2349 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 10:29 · PVG 18:29 · LAX 03:29 · JFK 06:29
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.