这是一个创建于 1413 天前的主题，其中的信息可能已经有所发展或是发生改变。
兄弟们，你们用什么
 |
1
aec4d 2021-02-11 11:34:24 +08:00 via iPhone
完全可以自己写，先得到哪些文件大小一样，将大小一样的文件计算 hash 第一步就排除大多数文件了
|
 |
2
redtea 2021-02-11 11:36:44 +08:00
dupeGuru
|
 |
3
lianyue 2021-02-11 11:54:34 +08:00 via iPhone  4
先文件大小 然后 文件前 128k 的 md5 然后 文件尾 128k md5 然后文件中间 128k md5 基本上就 ok 了 最后有一个严格模式 前面都匹配了 就 文件全局 md5
|
 |
4
Osk 2021-02-11 12:01:59 +08:00 via Android
要不，用文件系统的去重功能 ，除了有点吃内存。。。
|
 |
5
glasswm 2021-02-11 12:11:23 +08:00 via Android
|
 |
6
delectate 2021-02-11 12:13:47 +08:00
先看大小，大小一致再比较随机位置的随机长度的 md5 就可以了。
|
 |
7
imn1 2021-02-11 12:49:45 +08:00
文件查重还是文字查重？什么平台？
文件几个 T 不是什么事，如果是经常要查的，建议用带数据库的工具，hash 过一次的保留，下次不用重新 hash 文字的话，楼下回答，或者搜搜 |
 |
8
v2tudnew 2021-02-11 12:51:03 +08:00 via iPhone 2
检验快的算法又不是没有，天天 MD5
|
 |
9
wangxiaoaer 2021-02-11 12:55:17 +08:00 via iPhone
应该是文字内容查重，那些先拿文件大小判断的都可以退下了。
我 i 有个思路，先所有文件建立索引，然后按照文件的每一段作为关键字去搜，根据匹配度判断。 如果文件是专业性很强的，建索引的词库可能要定制。 |
|
10
wangxiaoaer 2021-02-11 12:56:11 +08:00 via iPhone
@wangxiaoaer 当然，我 i 没干过，说的这个笨办法不知道可行性。
|
 |
11
cheng6563 2021-02-11 12:59:29 +08:00 via Android
crc 就行了不用 md5
|
 |
12
jim9606 2021-02-11 15:19:45 +08:00
如果可以换文件系统，直接换 ZFS 或者 BtrFS，适合应对会不断新增数据的环境。
基于 hash 的软件有很多我就不列举了，就是没法在线去重。 |
 |
13
microka 2021-02-11 15:21:57 +08:00
几个 T 的文件是指几个 T 的单文件？还是总容量达几个 T 的若干多个小文件？
|
 |
14
hanyaguang OP 谢谢兄弟们
|
Select Language