V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
ihipop
V2EX  ›  问与答

[有趣] 使用 wget+proxy 能被 netfilter.org 识别到但是 curl 不会

  •  
  •   ihipop · 2021-11-01 14:00:52 +08:00 · 925 次点击
    这是一个创建于 878 天前的主题,其中的信息可能已经有所发展或是发生改变。

    实验条件:

    gost -L=:8080
    
    wget http://netfilter.org/projects/libnftnl/files/libnftnl-1.1.9.tar.bz2  -O /dev/null
    --2021-11-01 13:56:27--  http://netfilter.org/projects/libnftnl/files/libnftnl-1.1.9.tar.bz2
    正在解析主机 netfilter.org (netfilter.org)... 92.243.18.11, 2001:4b98:dc0:43:216:3eff:fe87:a456
    正在连接 netfilter.org (netfilter.org)|92.243.18.11|:80... 已连接。
    已发出 HTTP 请求,正在等待回应... 301 Moved Permanently
    位置: https://netfilter.org/projects/libnftnl/files/libnftnl-1.1.9.tar.bz2 [跟随至新的 URL]
    --2021-11-01 13:56:27--  https://netfilter.org/projects/libnftnl/files/libnftnl-1.1.9.tar.bz2
    SSL_INIT
    已载入 CA 证书“/etc/ssl/certs/ca-certificates.crt”
    正在连接 netfilter.org (netfilter.org)|92.243.18.11|:443... 已连接。
    已发出 HTTP 请求,正在等待回应... 200 OK
    长度:389639 (381K) [application/x-bzip2]
    正在保存至: “/dev/null”
    
    http_proxy=http://127.0.0.1:8080 https_proxy=http://127.0.0.1:8080 wget http://netfilter.org/projects/libnftnl/files/libnftnl-1.1.9.tar.bz2  -O /dev/null 
    --2021-11-01 13:58:13--  http://netfilter.org/projects/libnftnl/files/libnftnl-1.1.9.tar.bz2
    正在连接 127.0.0.1:8080... 已连接。
    已发出 Proxy 请求,正在等待回应... 301 Moved Permanently
    位置: https://netfilter.org/projects/libnftnl/files/libnftnl-1.1.9.tar.bz2 [跟随至新的 URL]
    --2021-11-01 13:58:14--  https://netfilter.org/projects/libnftnl/files/libnftnl-1.1.9.tar.bz2
    SSL_INIT
    已载入 CA 证书“/etc/ssl/certs/ca-certificates.crt”
    正在连接 127.0.0.1:8080... 已连接。
    已发出 Proxy 请求,正在等待回应... 403 Forbidden
    2021-11-01 13:58:16 错误 403:Forbidden 。
    
    http_proxy=http://127.0.0.1:8080 https_proxy=http://127.0.0.1:8080 curl http://netfilter.org/projects/libnftnl/files/libnftnl-1.1.9.tar.bz2  -o /dev/null
      % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                     Dload  Upload   Total   Spent    Left  Speed
    100   276  100   276    0     0    524      0 --:--:-- --:--:-- --:--:--   524
    

    抓包看下请求没有什么特色的,把 wget 的 UA 换成 curl 的没用 会是什么检测的呢?

    4 条回复    2021-11-01 23:30:30 +08:00
    coolan
        1
    coolan  
       2021-11-01 17:40:49 +08:00
    wget 在代理的情况下给 http request header 写了 Proxy-Connection: Keep-Alive 。
    ihipop
        2
    ihipop  
    OP
       2021-11-01 18:16:47 +08:00
    @coolan CURL 也会写的
    coolan
        3
    coolan  
       2021-11-01 19:46:17 +08:00
    curl 并没有写,你使用 curl -H 'Proxy-Connection: Keep-Alive' -v https://netfilter.org ,就是 403 。
    pheyx
        4
    pheyx  
       2021-11-01 23:30:30 +08:00 via Android
    curl 默认不跳转,加个-L 试试
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5193 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 09:40 · PVG 17:40 · LAX 02:40 · JFK 05:40
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.