V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
Removable
V2EX  ›  问与答

腾讯云香港机器是否有一些网络上的限制?

  •  
  •   Removable · 2022-01-13 18:36:20 +08:00 · 2311 次点击
    这是一个创建于 834 天前的主题,其中的信息可能已经有所发展或是发生改变。
    为造福群里的兄弟,我写了个 E 站爬虫,爬取部分热门画廊的漫画,下载并打包后供群里的兄弟们下载(他们都不会爬梯,通过我的服务器中转一下就可以直接下载了)。

    整个项目在我本地调试时,不管是爬图片链接还是下载图片都挺快的(已爬梯),但是部署到腾讯云香港轻量服务器以后,发现爬图片链接速度很慢,下载图片也有很大概率失败。刚开始以为是我代码问题,后来我在其他 vps 供应商的国外机器上同样部署以后,爬取和下载速度都飞快,这机器配置甚至还不如我腾讯云的。

    难道腾讯云境外的机器也有墙吗?
    15 条回复    2022-01-14 15:34:13 +08:00
    VagrantZ
        1
    VagrantZ  
       2022-01-13 19:28:56 +08:00
    我也是写爬虫,放在 HK 的 Lighthouse 上非常慢,但是换到兄弟位于其它地区的 Lighthouse 上就很快。
    另外从 GitHub 下载东西,HK 和硅谷两个节点试了一下,速率存在计量单位级别的差距……
    VagrantZ
        2
    VagrantZ  
       2022-01-13 19:35:04 +08:00
    /t/827707 大概都是这个问题吧
    cssk
        3
    cssk  
       2022-01-13 20:19:24 +08:00 via iPhone
    暂时无墙,不过几年内就会有了
    Removable
        4
    Removable  
    OP
       2022-01-13 21:10:15 +08:00 via iPhone
    @VagrantZ 我去,早知道买其他节点的机器了
    Removable
        5
    Removable  
    OP
       2022-01-13 21:13:45 +08:00 via iPhone
    @VagrantZ 不知道这个国际出口的故障好了以后,爬虫会不会好点
    putaosi
        6
    putaosi  
       2022-01-14 09:14:27 +08:00 via iPhone
    @Removable 只是没有优化路由,谷歌云和微软云好些
    Removable
        7
    Removable  
    OP
       2022-01-14 09:20:03 +08:00
    @putaosi #6 原来是这样吗?看来唯一的方案只能是换云厂商了?
    wsly47
        8
    wsly47  
       2022-01-14 09:51:35 +08:00 via Android
    加个 Cloudflare WARP client 试试,走 cf 的网络
    https://developers.cloudflare.com/warp-client/
    Removable
        9
    Removable  
    OP
       2022-01-14 10:30:34 +08:00
    @wsly47 #8 这是啥?我来研究一下哈,谢谢!
    Removable
        10
    Removable  
    OP
       2022-01-14 11:31:22 +08:00
    @wsly47 #8 我按官方教程装好以后,一旦执行“warp-cli connect”,服务器就连不上了是什么情况😭
    wsly47
        11
    wsly47  
       2022-01-14 14:28:02 +08:00   ❤️ 1
    去控制台远程登陆 root 执行 warp-cli disconnect ,就可以恢复了。

    直接执行 warp-cli connect 会接管服务器网络,导致服务器断网。

    需要先执行 warp-cli set-mode proxy 设置为本地代理模式,
    再执行 warp-cli connect ,这样就会创建一个端口 40000 的 socks5 本地代理。

    如果需要更改 socks5 端口执行 warp-cli set-proxy-port 1080
    Removable
        12
    Removable  
    OP
       2022-01-14 14:30:48 +08:00
    @wsly47 #11 开启本地代理以后,再让我的爬虫走这个代理就行了吗?
    wsly47
        13
    wsly47  
       2022-01-14 14:36:27 +08:00
    @Removable 是的
    Removable
        14
    Removable  
    OP
       2022-01-14 14:41:23 +08:00
    @wsly47 #13 感谢,我来试试
    bookbox
        15
    bookbox  
       2022-01-14 15:34:13 +08:00   ❤️ 1
    这个问题我也遇到过,腾讯云的机器肯定不会做限制,就是国际出口带宽压力大,各大运营商扩容困难,国内的云厂商共同面临和共存的问题,兄弟访问国外的业务的话,还是建议用国外的服务器比较好些,望采纳
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   882 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 21:45 · PVG 05:45 · LAX 14:45 · JFK 17:45
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.