V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
hadoop
V2EX  ›  问与答

Linux 下大文件传输方式

  •  
  •   hadoop · 2014-05-21 16:02:29 +08:00 · 9374 次点击
    这是一个创建于 3599 天前的主题,其中的信息可能已经有所发展或是发生改变。
    千兆LAN环境下 linxu系统间的文件传输方式,除了ftp scp还有更好的更快的吗
    28 条回复    2014-05-22 23:18:38 +08:00
    decken
        1
    decken  
       2014-05-21 16:07:03 +08:00
    BT sync
    tititake
        2
    tititake  
       2014-05-21 16:08:11 +08:00
    rsync
    duzhe0
        3
    duzhe0  
       2014-05-21 16:12:44 +08:00
    对scp有什么不满意的吗?
    SevenJ
        4
    SevenJ  
       2014-05-21 16:15:51 +08:00
    也可以用nc:
    server: nc -l port_number < filename
    client: nc server_ip port_number > filename
    hadoop
        5
    hadoop  
    OP
       2014-05-21 16:28:39 +08:00
    @duzhe0 内网环境,只想传数据,没必要数据传输过程中加密,LAN环境加密的话基本上会把cpu跑到100%
    hadoop
        6
    hadoop  
    OP
       2014-05-21 16:29:08 +08:00
    @SevenJ 现在尝试用 nc + 压缩,效果比scp好一点
    lu18887
        7
    lu18887  
       2014-05-21 16:31:51 +08:00
    传输前压缩或者传输中压缩。一般是传输之前就压缩了,传输的时候不要选择带压缩的会增加CPU负担且效果不明显。
    lu18887
        8
    lu18887  
       2014-05-21 16:33:14 +08:00
    也可以考虑挂载远程目录的方式,感觉这个会更快些!起码操作上最后变成了CP,嘿
    hadoop
        9
    hadoop  
    OP
       2014-05-21 16:36:35 +08:00
    @lu18887 操作上cp,底层还是转换成网络传输了吧
    Chip
        10
    Chip  
       2014-05-21 16:50:14 +08:00
    单向的话,FTP应该是兼容性最好,速度最快的了。
    双向的话,rsync或者Bittorrent Sync都是不错的选择。
    reverland
        11
    reverland  
       2014-05-21 16:57:23 +08:00
    @SevenJ 加个-q 0 吧……
    babytomas
        12
    babytomas  
       2014-05-21 17:15:21 +08:00
    内网的话我觉得 SCP 就足够了呀 。。

    scp * [email protected]:/root/

    我平时内网都是用 scp 的 。。。100M 传输接口用 scp 我都懒得打包文件传了 。。
    JoyNeop
        13
    JoyNeop  
       2014-05-21 17:17:02 +08:00 via iPad
    wget 党默默滚过。。。
    9hills
        14
    9hills  
       2014-05-21 17:22:36 +08:00
    @hadoop 内网FTP。wget下载打满千兆网卡没问题。没有更快的了。如果是万兆,硬盘IO是瓶颈

    如果只能纯内网访问,开全局匿名只读FTP是个好想法。
    lu18887
        15
    lu18887  
       2014-05-21 17:37:21 +08:00
    @hadoop 查阅相关资料,加密的传输要受CPU速度的限制(加密解密),具体使用哪种得结合你的实际情况的,是否需要那么安全的传输,文件有多大……传输的频率,增量数据还是全量数据
    lu18887
        16
    lu18887  
       2014-05-21 17:38:54 +08:00
    @9hills 有万兆网,磁盘肯定也上高档货色了各种PCI固态硬盘阵列啥的……甚至是超导体(这个扯淡了,哈哈)
    zeiyso
        17
    zeiyso  
       2014-05-21 18:11:50 +08:00   ❤️ 1
    我自然 | Linux大文件传输 http://www.yankay.com/linux%E5%A4%A7%E6%96%87%E4%BB%B6%E4%BC%A0%E8%BE%93/
    可以参看这个.
    ffffwh
        18
    ffffwh  
       2014-05-21 18:28:13 +08:00
    Samba/NFS?
    hadoop
        19
    hadoop  
    OP
       2014-05-21 18:29:29 +08:00
    @babytomas 等文件有几十G的时候就知道这样还不够快
    hadoop
        20
    hadoop  
    OP
       2014-05-21 18:30:28 +08:00
    @9hills 不不,数据里面肯定有冗余的,所以加上压缩,比直接wget快
    hadoop
        21
    hadoop  
    OP
       2014-05-21 18:31:22 +08:00
    @zeiyso 嗯 目前我参考的这个,测试起来峰值的确比scp快上30%,但是不是很稳定,没细究是本机磁盘问题还是网络上交换机的限制
    wwqgtxx
        22
    wwqgtxx  
       2014-05-21 19:10:09 +08:00 via Android
    用apache/nginx,然后wget
    20150517
        23
    20150517  
       2014-05-21 20:25:19 +08:00 via Android
    @9hills ftp还是不能保证用满带宽,要用多线程的ftp
    hadoop
        24
    hadoop  
    OP
       2014-05-21 21:23:44 +08:00
    @wwqgtxx http不是为了传输数据设计的协议,所以估计连ftp都比不上
    msg7086
        25
    msg7086  
       2014-05-22 09:17:56 +08:00   ❤️ 1
    @hadoop http的握手次数少,小文件速度很快,多线程代价也小,nginx基于event模型比vsftpd之类的要快。大文件的话也没什么太大问题吧,http也是在进化的。
    hadoop
        26
    hadoop  
    OP
       2014-05-22 09:30:57 +08:00
    @msg7086 单个大文件场景呢? 即使是小文件,也会在传输前打包
    msg7086
        27
    msg7086  
       2014-05-22 09:32:36 +08:00
    @hadoop 单个大文件我也没觉得http会比ftp慢。同样打开一个连接通道来传输,除了chunked编码造成的少量overhead,我看不出http比ftp慢的理由。
    wwqgtxx
        28
    wwqgtxx  
       2014-05-22 23:18:38 +08:00 via Android   ❤️ 1
    @hadoop 你说http不是为了传输数据设计的协议,那http是传输什么的协议呢?为什么公网上都用http协议而不用ftp呢?
    http的效率是大家有目共睹的,这就是他为什么在互联网上替代ftp的原因
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5940 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 02:04 · PVG 10:04 · LAX 19:04 · JFK 22:04
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.