V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
aWangami
V2EX  ›  问与答

有什么办法提高大量大量小文件复制/移动的速度没?

  •  
  •   aWangami · 2014-12-14 14:11:49 +08:00 · 16812 次点击
    这是一个创建于 3636 天前的主题,其中的信息可能已经有所发展或是发生改变。
    [缘由]
    昨天备份手机上的tencent文件夹,你知道的微信和手Q都是很多很多的文件夹和小文件来管理资源的,于是,我不知道花了多久,昨天晚上开始备份,今天早上起来的时候算是结束了,Windows显示剩余6小时的时候我就哭了,于是改用Cygwin的mv命令,但是也花了很久,目测一两个小时吧
    PS:读卡器直接读卡的,没有用USB数据线传
    PPS:不排除我的卡读写速度比较慢

    [文件信息]
    1.50 GB (1,619,127,376 字节)
    1.56 GB (1,678,778,368 字节)
    44,137 个文件,15,137 个文件夹
    其实文件和文件夹也不算多,这么看起来的话

    [有什么办法没呢]
    只是因为备份这个文件夹时想到的,并不是针对备份它而言

    [另外想到的问题]
    刚才说到TF卡,现在感觉8G的卡已经很不够用了,升级为16G的卡如何?
    是不是TF卡读写次数多了,就会容易坏,反正我插到电脑上的时候Windows提示修复
    那16G的卡不会比8G的卡更容易出问题吗,要是出问题了,资料损失的概率不就更大了=。=

    原谅我想太多...
    20 条回复    2020-02-28 13:20:16 +08:00
    xiaogui
        1
    xiaogui  
       2014-12-14 14:25:15 +08:00   ❤️ 1
    无压缩比 打包成若干个压缩包文件,然后拷贝,解压。比你直接小文件对拷快很多。
    aWangami
        2
    aWangami  
    OP
       2014-12-14 14:29:25 +08:00
    @xiaogui 这是个好主意!可以一试~
    oott123
        3
    oott123  
       2014-12-14 14:29:48 +08:00   ❤️ 1
    FastCopy
    aWangami
        4
    aWangami  
    OP
       2014-12-14 14:36:09 +08:00
    @oott123 我用它备份过整盘文件,速度不错,不过没试过大量小文件,下回测测速度~
    icedx
        5
    icedx  
       2014-12-14 14:38:11 +08:00 via Android
    临时文件和输出目录设到ramdisk 打包tar 一波带走
    xiaogui
        6
    xiaogui  
       2014-12-14 15:02:36 +08:00
    @aWangami 服务器对拷碎文件必备方法,省时间不是一点两点,但是记住不要压缩比。
    yksoft1
        7
    yksoft1  
       2014-12-14 18:15:21 +08:00
    大量小文件的问题来自于文件系统,现在的树形文件系统的遍历,增加节点可不是那么快的。
    因此建议还是将大量小文件进行打包。如果小文件并不复杂,比如源代码类,就算使用高压缩率打包也不会很慢
    msg7086
        8
    msg7086  
       2014-12-14 18:42:07 +08:00 via iPhone
    先全盘镜像再复制?不知道有没有类似的工具。
    BetaLe
        9
    BetaLe  
       2014-12-14 18:45:57 +08:00 via Android
    @aWangami 一直都是用一楼的方法。省了多少创建文件的时间啊
    thidnh
        10
    thidnh  
       2014-12-14 18:51:07 +08:00   ❤️ 1
    推荐7z,有个store的压缩模式。基本不压缩,速度飞快
    Havee
        11
    Havee  
       2014-12-14 20:19:59 +08:00   ❤️ 1
    我会说我使用cpio么
    备份gentoo时效率比tar高
    cp在大量小文件时,还是放弃吧

    全盘镜像的话么....没有比dd更优效率的了
    tanyuxiang
        12
    tanyuxiang  
       2014-12-14 20:22:16 +08:00   ❤️ 1
    teracopy或打包
    aWangami
        13
    aWangami  
    OP
       2014-12-14 22:45:07 +08:00
    @Havee 嘿,下次可以尝试尝试~
    aWangami
        14
    aWangami  
    OP
       2014-12-14 22:47:32 +08:00
    @msg7086 楼上说的dd?或者用ghost之类的
    aWangami
        15
    aWangami  
    OP
       2014-12-14 22:48:43 +08:00
    @yksoft1
    @xiaogui
    @icedx 打包之后再移动确实是个好办法
    tititake
        16
    tititake  
       2014-12-14 22:56:16 +08:00 via Android
    rsync
    电脑上装服务端,Android手机用命令客户端,然后Tasker根据不同情景调用。
    Rexter
        17
    Rexter  
       2014-12-14 22:58:45 +08:00   ❤️ 1
    我在用ExtremeCopy Pro,这个安装了就作为你的默认复制工具
    aWangami
        18
    aWangami  
    OP
       2014-12-15 09:49:10 +08:00
    @Rexter 看了一下不错的样子~
    aWangami
        19
    aWangami  
    OP
       2014-12-15 09:49:38 +08:00
    @tititake 方式略高端呀
    tmtony
        20
    tmtony  
       2020-02-28 13:20:16 +08:00
    我也遇到了这个问题,折腾了好几天,因为 2 台电脑复制了 2 天都没拷贝完。在网上找了很多资料,后来解决了。把找到的各种方法整理了一下。也包括这里大家说的一些好方法。
    复制很多个大量小文件比复制总体积相同的单个大文件要慢很多的解决办法
    http://www.52help.net/htips/337.html
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1083 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 22:30 · PVG 06:30 · LAX 14:30 · JFK 17:30
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.