V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
harrison0124
V2EX  ›  程序员

大约 500G 的数据需要远程传输,请问用什么方式可以实现,排除百度云等

  •  
  •   harrison0124 · 2019-10-09 17:09:07 +08:00 · 13903 次点击
    这是一个创建于 1651 天前的主题,其中的信息可能已经有所发展或是发生改变。

    如题,试过了 chfs 服务器方式,Teamviewer 也不行,QQ 没试,应该也是不行。麻烦问问各位大大,还有什么方式呢?

    130 条回复    2019-10-12 16:55:11 +08:00
    1  2  
    JAYXU2012
        1
    JAYXU2012  
       2019-10-09 17:10:54 +08:00   ❤️ 16
    快递走一波?
    gdyer
        2
    gdyer  
       2019-10-09 17:11:35 +08:00
    rsync
    Michaelssss
        3
    Michaelssss  
       2019-10-09 17:11:53 +08:00
    这种换我就排除中间商,直接用直连分段传输了
    KasonPasser
        4
    KasonPasser  
       2019-10-09 17:12:20 +08:00
    切片,一份份传。传过去再让对方合并,要不自己写一个断点下载服务器。
    chevalier
        5
    chevalier  
       2019-10-09 17:12:28 +08:00
    移动硬盘,快递
    Beeethoven
        6
    Beeethoven  
       2019-10-09 17:12:31 +08:00
    快递啊
    rockyou12
        7
    rockyou12  
       2019-10-09 17:12:41 +08:00
    linux 服务器间 rsync 比较稳妥
    ztcaoll222
        8
    ztcaoll222  
       2019-10-09 17:14:17 +08:00
    分卷压缩, 然后一份一份传
    zarte
        9
    zarte  
       2019-10-09 17:15:45 +08:00
    ftp rsync
    linhua
        10
    linhua  
       2019-10-09 17:16:27 +08:00
    内网之间的话,QQ 也行,QQ 支持文件夹的断点续传
    VDimos
        11
    VDimos  
       2019-10-09 17:17:38 +08:00 via Android
    高铁呀
    CallMeReznov
        12
    CallMeReznov  
       2019-10-09 17:18:43 +08:00   ❤️ 2
    跨越地域就提着冷备份硬盘过去吧,然后到哪里在做差异更新
    这是最稳定,最快速,省钱的方式了.
    wunonglin
        13
    wunonglin  
       2019-10-09 17:18:44 +08:00
    阿里云 oss
    tankren
        14
    tankren  
       2019-10-09 17:19:02 +08:00
    syncthing ?
    yougoUp
        15
    yougoUp  
       2019-10-09 17:23:11 +08:00
    自己写个可以断点续传功能的工具啊
    lonelygo
        16
    lonelygo  
       2019-10-09 17:26:38 +08:00   ❤️ 1
    我是认真的:快递硬盘。
    这不是笑话,不是玩笑,真的是冷备、异地灾备的好办法。
    adomit
        17
    adomit  
       2019-10-09 17:27:23 +08:00
    今天刚好碰到这个需求,就是一台来电脑准备重装系统,需要备份数据,我选择压缩分段,然后上传到 oss,安装好了再下载下来。
    xyfan
        18
    xyfan  
       2019-10-09 17:27:28 +08:00
    顺丰
    TimePPT
        19
    TimePPT  
       2019-10-09 17:28:38 +08:00
    快递+1
    evam
        20
    evam  
       2019-10-09 17:29:24 +08:00
    500G 肯定走快递啊。想啥呢
    mumbler
        21
    mumbler  
       2019-10-09 17:31:36 +08:00 via Android
    任何远程传输都不能保证数据完整,移动硬盘是最快速最可靠的方案
    airyland
        22
    airyland  
       2019-10-09 17:35:12 +08:00
    上周通过 rsync 同步了 400g 数据库文件,所以时间不急的话加大带宽用 rsync 是靠谱的。
    514146235
        23
    514146235  
       2019-10-09 17:36:40 +08:00   ❤️ 2
    @mumbler 你是认真的吗?
    13913001584
        24
    13913001584  
       2019-10-09 17:36:45 +08:00   ❤️ 9
    https://file.pizza/
    web 文件直传,无需中间存储服务器
    tiiis
        25
    tiiis  
       2019-10-09 17:38:19 +08:00
    syncthing
    334862132
        26
    334862132  
       2019-10-09 17:38:30 +08:00
    一秒算 1M 的话 你一天也就下 85G 的资料 500G 的资料你要 24 小时不停的下将近 6 天 还要保证数据不出错 快递空运最多 3 天就能到 你选哪个?
    cirton
        27
    cirton  
       2019-10-09 17:47:17 +08:00
    放 U 盘里,然后用信鸽传送。
    zjyl1994
        28
    zjyl1994  
       2019-10-09 17:51:06 +08:00
    找块移动硬盘走顺丰次日达,比走公网快
    hjmeteor
        29
    hjmeteor  
       2019-10-09 17:51:42 +08:00 via Android
    500G 刻成光盘(刻 2 张)或移动硬盘顺丰、EMS。
    网络途径,切片 QQ、FTP、迅雷均可。
    annielong
        30
    annielong  
       2019-10-09 17:58:06 +08:00
    500G 不大,网络直链下载就行,大不了分卷压缩再下载
    zzutmebwd
        31
    zzutmebwd  
       2019-10-09 18:08:21 +08:00 via Android
    如果只考虑线上传输的话无疑是 p2p 最快 可以用 btsync(被墙)的国内版微力同步 稳稳跑满带宽,并且是切片式的,随意中断。
    zzutmebwd
        32
    zzutmebwd  
       2019-10-09 18:09:39 +08:00 via Android
    讲道理 p2p 式的同步真的很有魅力
    mumbler
        33
    mumbler  
       2019-10-09 18:16:25 +08:00 via Android   ❤️ 1
    @514146235 曾经 10M 带宽服务器传过 200G 数据,分片,一个个去校验,重传,搞了几个星期,最后放弃
    wtks1
        34
    wtks1  
       2019-10-09 18:18:56 +08:00 via Android
    移动硬盘加顺风就可以了
    eluotao
        35
    eluotao  
       2019-10-09 18:21:17 +08:00
    奶牛快传 应该没问题
    vtwoextb
        36
    vtwoextb  
       2019-10-09 18:23:09 +08:00
    rsync
    micate
        37
    micate  
       2019-10-09 18:43:08 +08:00
    分卷压缩了解下?拆分成合适的大小,直接走 QQ 就好了
    luozic
        38
    luozic  
       2019-10-09 18:47:38 +08:00
    加密+快递, 几十 T 都没啥问题。
    ARhen
        39
    ARhen  
       2019-10-09 18:48:55 +08:00
    @JAYXU2012 真机制 哈哈哈哈!
    想起来公司客户为了安全,每周报告走同城速达~
    514146235
        40
    514146235  
       2019-10-09 18:51:18 +08:00
    @mumbler 这个和网络没有关系,肯定是你写的程序有问题,或者你用的程序有问题。
    z7356995
        41
    z7356995  
       2019-10-09 18:53:46 +08:00 via Android
    pt 表示电影包一个包 1.7T 无压力
    CLANNADHH
        42
    CLANNADHH  
       2019-10-09 18:57:05 +08:00 via Android
    移动硬盘拷数据然后快递,难道不是最快最省事吗?
    loading
        43
    loading  
       2019-10-09 18:59:30 +08:00 via Android
    东风 17,使命必达。
    infra
        44
    infra  
       2019-10-09 18:59:46 +08:00
    @z7356995 pt 全称是啥?科普一下
    Shiweizhi
        45
    Shiweizhi  
       2019-10-09 19:31:28 +08:00
    HTTP FTP NFS,用 frp 映射到公网
    realpg
        46
    realpg  
       2019-10-09 19:33:54 +08:00
    QQ 就完了
    随便找个对象存储也行
    开个按量付费的 VPS 传上去也行
    fqzz
        47
    fqzz  
       2019-10-09 19:36:59 +08:00
    syncthing
    enGrave93
        48
    enGrave93  
       2019-10-09 19:38:44 +08:00 via Android
    rsync
    ronman
        49
    ronman  
       2019-10-09 19:40:14 +08:00 via Android   ❤️ 1
    @infra private track
    maggiett
        50
    maggiett  
       2019-10-09 19:40:58 +08:00 via iPhone
    500G 又不是 500T,有必要快递吗?
    cigarzh
        51
    cigarzh  
       2019-10-09 19:56:07 +08:00
    宽带有那么窄吗?一会儿不就传完了
    sunny352787
        52
    sunny352787  
       2019-10-09 19:57:44 +08:00   ❤️ 1
    内个我问一下楼主啊,你的对外上行带宽是多少?咱们帮你算一下跑满带宽 500G 需要传多久
    z7356995
        53
    z7356995  
       2019-10-09 20:01:18 +08:00 via Android
    @infra private tracker
    wql
        54
    wql  
       2019-10-09 20:04:29 +08:00 via Android
    拿一个 1T 硬盘拷进去,人肉运送。
    Yaksha
        55
    Yaksha  
       2019-10-09 20:08:13 +08:00
    一般我们影视行业碰到这种几百 GB 乃至几 TB 的,都是直接发顺丰快递...
    markgor
        56
    markgor  
       2019-10-09 20:12:28 +08:00 via Android
    不用想,只要算。
    自己上行带宽和对方下行带宽,计算下大概时间。
    如果和快递时间差不多就快递吧,如果比快递时间少就直传
    noqwerty
        57
    noqwerty  
       2019-10-09 20:14:21 +08:00 via Android   ❤️ 1
    说一下网络情况吧,500G 还不一定需要快递,之前我们 rsync 传过 4T 的文件都很稳
    lalalakakaka
        58
    lalalakakaka  
       2019-10-09 20:28:00 +08:00
    才 500G,先分卷压缩一下,记得开校验。用 QQ 传都没问题!
    tatsuteng
        59
    tatsuteng  
       2019-10-09 20:29:56 +08:00
    养几只咕咕,绑存储卡
    exiaohao
        60
    exiaohao  
       2019-10-09 20:30:11 +08:00
    网好 /安保要求不高 rsync
    网烂 /安保要求高 顺丰快递
    haishiwuyuehao
        61
    haishiwuyuehao  
       2019-10-09 20:33:00 +08:00
    dog 脸。分卷打 zip 包,用 QQ 传不行吗。
    locoz
        62
    locoz  
       2019-10-09 20:38:37 +08:00 via Android
    500G 不大不小,一个硬盘刚好
    kingfalse
        64
    kingfalse  
       2019-10-09 20:46:23 +08:00 via Android
    快递 6666
    zjqzxc
        65
    zjqzxc  
       2019-10-09 20:57:25 +08:00
    500G/直连平均网速 得到的传输时间*2 后,如果大于 2 天,SSD 硬盘+顺丰;否则分卷压缩后网络传输
    chcx
        66
    chcx  
       2019-10-09 21:00:16 +08:00
    才 500G 直接 rsync/ftp 传 或者起个 web 服务,http 下载
    websterq
        67
    websterq  
       2019-10-09 21:02:15 +08:00
    。。折腾半天不如开个网盘会员
    mongodb
        68
    mongodb  
       2019-10-09 21:06:58 +08:00
    最重要的楼主没说是一堆小文件,还是几个大文件。。这样走线上方式也会需要看不同的方案。
    你几千万张图片和十来个大包,完全不一样的方案的。。
    yankebupt
        69
    yankebupt  
       2019-10-09 21:30:30 +08:00
    跨境的话,如果出方向可以考虑直接 rsync 大部分情况不挤,入方向运气不好的情况可能得租线路,看地区区别有可能正常,也有可能挤或者因为花更多钱的人预留了带宽质量而把你 QoS 掉
    reus
        70
    reus  
       2019-10-09 21:31:30 +08:00
    rsync,U 盘
    RicardoY
        71
    RicardoY  
       2019-10-09 21:32:48 +08:00
    rsync 吧
    raptor
        72
    raptor  
       2019-10-09 21:34:02 +08:00
    我以前公司的备份在 GPG 加密压缩后大概 500G,每周走 rsync 做一次远程备份,相当稳定,速度就看带宽了。
    Leigg
        73
    Leigg  
       2019-10-09 21:37:30 +08:00 via Android
    @13913001584 怎么我尝试没有用?一个浏览器选个文件然后开着,另一个打开生成的链接,点击下载,没有卵用,尝试了手机,电脑
    linmq
        74
    linmq  
       2019-10-09 21:39:18 +08:00 via iPhone
    OneDrive
    natforum
        75
    natforum  
       2019-10-09 21:40:14 +08:00
    500G 刻录到光盘了,快递
    shuperjolly
        76
    shuperjolly  
       2019-10-09 21:45:01 +08:00 via iPhone
    泰聊? 文件是照片为啥要排除百度云?
    suxiaoxiann
        77
    suxiaoxiann  
       2019-10-09 22:22:00 +08:00
    现在快递确实挺快的
    swsh007
        78
    swsh007  
       2019-10-09 22:27:20 +08:00 via Android
    国外没法子
    国内快递最好了
    1265578519
        79
    1265578519  
       2019-10-09 22:35:27 +08:00
    微力同步吧,基于 bt 协议的文件传输,可靠性高支持断点续传,错误重传
    V530Bur
        80
    V530Bur  
       2019-10-10 00:59:20 +08:00
    P2P 点对点专线?
    Rorshach
        81
    Rorshach  
       2019-10-10 01:14:32 +08:00
    快递啊,等效带宽 3M/s
    hhok520
        82
    hhok520  
       2019-10-10 01:37:14 +08:00 via Android
    500g 不是很大 如果不是批量小文件建议压缩后进行网络传输 这个分发脚本分发到指定终端 如果小文件的话还是建议快递 压缩解压耗时太多
    hhok520
        83
    hhok520  
       2019-10-10 01:40:55 +08:00 via Android
    @334862132 这带宽也太垃圾了些 不说千兆 百兆宽带都相当普及了 你描述的这种问题不合常理 当然也不排除没有 我觉得数据量不大 无需快递 除非全部都是几个 k 的小文件
    flyz
        84
    flyz  
       2019-10-10 07:44:46 +08:00 via Android
    用 QQ,不要点离线就好了。
    TimPeake
        85
    TimPeake  
       2019-10-10 08:30:03 +08:00
    哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈 快递 66666666
    BarZu
        86
    BarZu  
       2019-10-10 08:36:13 +08:00
    肯定快递快多了,想想你家宽带上传速度多少
    shenqi
        87
    shenqi  
       2019-10-10 09:02:35 +08:00
    前排出售闲置移动硬盘。
    gimp
        88
    gimp  
       2019-10-10 09:02:51 +08:00
    要是我就 tar.bz2 或者 7z 压缩后 split 分成多个块,然后用 Onedrive 同步过去再合并解压。
    amon
        89
    amon  
       2019-10-10 09:10:00 +08:00
    5G 了解一下?
    xixinjiejie
        90
    xixinjiejie  
       2019-10-10 09:19:50 +08:00
    先压缩一下 看看
    passerbytiny
        91
    passerbytiny  
       2019-10-10 09:21:13 +08:00
    @hhok520 #77 普及的只是家庭下行百兆,只有部分地区家庭上行超过了 20M,多数家庭上行和绝大多数商用服务器的带宽,是小于 10M 甚至只有 1M 的小水管。他这个 1M/s 的速度参考性很高。

    如果是一次性处理的话的,分卷压缩成多个 2-4G 的文件,然后逐个传送——通过 QQ 等简单手段就能传送,接收端再合并解压缩。如果有安全性要求,就做 Md5、SHA1 等验证。分卷压缩、合并解压缩、网络传输、散列验证都很费时间或精力,所以只能用于一次性处理,要是经常传输,那就真得只能用快递。
    VisionTheta
        92
    VisionTheta  
       2019-10-10 09:25:46 +08:00
    我的话一般会使用 rsync,曾经传过 1T 左右的数据。当然一边是专线宽带,另外一边是云服务器。文件碎一些,不好压缩,等等问题的话,快递确实好用一些。问对方要一个机房地址,会有运维人员帮你 mount 上去。

    另外,我最烦这种发了一个问题,就再也不出现的人。感觉就是出了一个大家都会 /有点经验的题目,来骗铜币的。
    Dkngit
        93
    Dkngit  
       2019-10-10 09:25:56 +08:00
    ResilioSync
    micookie
        94
    micookie  
       2019-10-10 09:31:31 +08:00
    我是用的玩客云 Windows 客户端远程上传到家里,上传速度大概 3M/s
    337136897
        95
    337136897  
       2019-10-10 09:32:09 +08:00
    东凤快递啊,一秒必达
    zhensjoke
        96
    zhensjoke  
       2019-10-10 09:35:18 +08:00
    500G 随便用阿里云 OSS 或者又拍这种 FTP 都可以。。。

    怕损坏的话分卷压缩 1G 一个单元。
    sdushn
        97
    sdushn  
       2019-10-10 10:23:34 +08:00
    @eric6356 一种典型的丢包情形 这个图笑死我
    zhaishunqi
        98
    zhaishunqi  
       2019-10-10 10:24:37 +08:00
    @zjqzxc 老哥和我想的一样.
    如果对面或者这边网速不稳定,指不定下 100G 还没有 sf 快~
    Soutxx
        99
    Soutxx  
       2019-10-10 10:25:42 +08:00
    站快递一波
    MonoLogueChi
        100
    MonoLogueChi  
       2019-10-10 10:41:37 +08:00 via Android
    分卷压缩,然后 p2p 传输
    1  2  
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3287 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 41ms · UTC 12:53 · PVG 20:53 · LAX 05:53 · JFK 08:53
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.