V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
fantasyjm
V2EX  ›  问与答

求问 有什么好办法可以下载大量境外数据吗?

  •  
  •   fantasyjm · 2022-12-08 17:35:11 +08:00 · 2784 次点击
    这是一个创建于 723 天前的主题,其中的信息可能已经有所发展或是发生改变。

    在美国的实验室( A )有 100TB~的实验数据 想要下载到在大陆的主机( C )上 目前正在用 Syncthing 上传和下载( A )<->( B ),速度只有 1MB/s 左右

    但是从( A )上传数据到 Google Cloud Storage 的速度可以达到 200~300MB/s

    从 Google Cloud 下载到大陆的主机( C )好像比较复杂

    求问各位,有没有更好的方法

    26 条回复    2022-12-11 00:15:50 +08:00
    ComTNT
        1
    ComTNT  
       2022-12-08 17:44:22 +08:00
    One Drive 国内的速度好像还可以
    WinkeyLin
        2
    WinkeyLin  
       2022-12-08 17:53:45 +08:00 via Android   ❤️ 8
    这种情况建议物理邮寄硬盘
    googlefans
        3
    googlefans  
       2022-12-08 17:58:46 +08:00
    有种子
    redegg
        4
    redegg  
       2022-12-08 17:59:36 +08:00 via iPad
    违反当地法律吗?
    RunCax
        5
    RunCax  
       2022-12-08 19:50:22 +08:00   ❤️ 1
    100TB 直接物理邮寄啊。
    RunCax
        6
    RunCax  
       2022-12-08 19:50:42 +08:00   ❤️ 1
    @RunCax 而且实验室的数据,放到公网上真的好吗?
    SenLief
        7
    SenLief  
       2022-12-08 20:02:38 +08:00 via iPhone
    物理快递回来就好了
    longbow0
        8
    longbow0  
       2022-12-08 20:35:57 +08:00
    6 块 18T 的硬盘就行
    如果双方都有磁带机,寄磁带应该更加方便
    要考虑的是能不能出海关
    yaoyao1128
        9
    yaoyao1128  
       2022-12-08 20:48:47 +08:00 via iPhone
    1. 速度只有 10mbps 的话 建议确定一下对端是不是走了 relay 两边直接用端口访问看一下。速度和地区也有关,不行强制 tcp 看看?我从 cn 到 kr 能跑满
    2. 100t 的话还是硬盘吧……
    livepps
        10
    livepps  
       2022-12-08 23:49:53 +08:00 via Android
    上传到 onedrive for business ,国内可以之间下载,速度很快,就是不大稳定
    kome
        11
    kome  
       2022-12-08 23:56:44 +08:00
    前段时间, 清华大学的一位教师分享了他从日本传递实验数据的经历, 采用的磁带运输, 这个是当时的直播直播视频链接:
    , 应该可以参考一下.
    netabare
        12
    netabare  
       2022-12-09 06:58:05 +08:00   ❤️ 1
    100TB……最好的办法感觉是买张机票飞过去领回来。
    eason1874
        13
    eason1874  
       2022-12-09 07:45:56 +08:00
    1MB/s ,还没有 OneDrive 快,移动宽带直连 OneDrive 客户端同步都有 5MB/s

    不在乎时间的话,开 OneDrive 商业版慢慢同步

    不差钱的话,用云厂商的对象存储,上传到海外区域,开启跨区域复制,复制到大陆区域,然后从大陆区域下载,200TB 的流量费用得 10 万左右
    eason1874
        14
    eason1874  
       2022-12-09 07:48:01 +08:00
    就现在的网络环境,性价比最高的方式还是邮寄。虽然买存储设备也得好几万,但是可以反复使用。传输加速的 10 万花了就真的花了,渣都不剩
    davelm
        15
    davelm  
       2022-12-09 08:37:26 +08:00
    Syncthing 比较慢,用种子,然后 ipv6 地址来传输,速度会很快
    idblife
        16
    idblife  
       2022-12-09 10:01:19 +08:00
    @eason1874
    哪家云厂商能支持海外区域复制到大陆区域?
    不都是环境隔离的么?
    eason1874
        17
    eason1874  
       2022-12-09 10:11:17 +08:00
    @idblife 大部分都行吧,阿里云腾讯云都有啊。各区域默认是隔离的,跨区域复制是增值服务,需要另外开通。他们还有更贵的增值服务,传输加速域名,都不用等复制,直接用加速域名就可以访问
    OrangeLoveMilan
        18
    OrangeLoveMilan  
       2022-12-09 10:16:39 +08:00
    100T 确实有点大,如果非要使用远程传输的方式, 可以试试买 CN2 的云服务器做代理,,速度应该会比你目前 1MB/s 提高 20~30 倍这样.
    买 CN2 的服务器之前记得做个跳转测试,看看是不是从国内直连到 us 的
    yimiaoxiehou
        19
    yimiaoxiehou  
       2022-12-09 12:50:14 +08:00 via Android
    @idblife 区域复制,加钱
    idblife
        20
    idblife  
       2022-12-09 13:17:12 +08:00
    @eason1874
    @yimiaoxiehou
    哦,了解了,国内云厂商可以这么做。
    aws ,azure 有合规要求不能做
    systemcall
        21
    systemcall  
       2022-12-09 17:13:48 +08:00 via Android
    100tb 最好还是邮寄硬盘或者磁带
    不知道你这 2 个机器直连的速度怎么样,要是速度还可以的话,可以考虑 zerotier ,有可能需要 moon
    如果走 moon 中转估计就很贵了。100TB 的流量,并且国内连接性好,这种机器不便宜吧。那些开机场的可能有这种大盘鸡
    lin559671
        22
    lin559671  
       2022-12-09 23:21:35 +08:00 via Android
    套个 warp 解千愁,电信联通直连 warp 下载速度 500m/s
    ,加速访问 Google cloud
    kice
        23
    kice  
       2022-12-10 04:33:01 +08:00 via Android
    100Mbps 的速度传都要传差不多 100 天。100T 最好还是肉身带回来,如果不是涉及美国国家安全,出境并不难,主要是入国内海关比较悬。至少说把数据拿到物理距离比较近的地方。

    其次的话,就是找个中间代理。优先考虑上传国内云盘,前提是做好加密,即使是简单的 xor 也能防止被炸。大体上准备多个账号,多线程上传,下载倒是还说,毕竟服务器在国内。
    kice
        24
    kice  
       2022-12-10 04:39:16 +08:00 via Android
    其实我觉得这个问题问出来是想要开机场。

    如果真的只是传数据,那么可以和国内机房或者开机场的进行合作,价格相对来说比商业用的加速服务便宜一些。

    syncthing 想要加速的话,多买些服务器进行“做种”。文档里面也写了,节点越多,同步速度越快。

    其实如果时间不是问题,慢慢传得了。
    natsji
        25
    natsji  
       2022-12-10 21:32:29 +08:00 via Android
    100tb 慢慢传 1mb/s 要传三年吧
    ShineyWang
        26
    ShineyWang  
       2022-12-11 00:15:50 +08:00 via Android
    NGA 上有人问了一个类似的问题,你可以参考一下
    https://ngabbs.com/read.php?tid=33011578
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2187 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 01:22 · PVG 09:22 · LAX 17:22 · JFK 20:22
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.