https://github.com/samuelncui/yatm
写了好几个月了,终于到了可用的程度。带一个 Web UI ,使用 LTFS 做存储,有文件管理、硬件加密、Hash 校验等功能。喜欢的大佬给个 Star ,如果能给一些 PR 就更好了。
文件管理可以方便组织文件。备份到磁带后,可以在文件管理器里使用文件夹整理文件。
备份的时候,可以一次性备份多个磁带的内容。会在第一个磁带满时,弹出提醒放入第二个磁带。
恢复时,会计算出需要的磁带。放入驱动器后,会读取磁带 RFID 来确定放入的是哪个磁带,并读取对应的待恢复文件。
对线性读写设备(比如 LTO 这种)做了特别优化,写入和读取时都会按位置顺序来。对写入小文件的场景,当来源文件在磁盘上时,会做 Prefetch Hint 。
1
yyzh 2023-09-26 20:26:09 +08:00 via Android
能用到磁带的那种都是大企业或者数据中心了吧
|
2
flyqie 2023-09-26 20:31:31 +08:00
想请问下楼主是什么情况下考虑到用磁带的?
感觉。。好麻烦而且成本很高。 |
5
vsyf 2023-09-26 20:45:08 +08:00
|
6
bobryjosin 2023-09-26 21:01:14 +08:00
南方这种地方存储条件太高,维护太麻烦之前就放弃了,以后当数字仓鼠是不是要人手一台带库?哈哈。
|
7
zhujinliang 2023-09-26 21:22:03 +08:00
再 3D 打印个磁带库,用步进电机做个自动加载/卸载就完美了
|
8
rio 2023-09-26 21:45:41 +08:00 1
@abc950309 「 LTO5 驱动现在 750 ,磁带 25 块一盘,每盘 1.5T 。」想请问下这个价格在哪里有?一直想搞个来玩玩
|
10
abc950309 OP @zhujinliang 有 3d 打印机,但是执行机构实在是不好做呀~~ 大佬搞过嘛~~
|
11
tankren 2023-09-26 21:51:33 +08:00
这个一般要公司才用的上吧
|
12
Mogeko 2023-09-26 21:58:23 +08:00 via iPhone
1.5 T 是压缩前还是压缩后的?👀
|
14
Atsushi 2023-09-26 22:45:34 +08:00 via Android
厉害了 当年用的一台工作站上带个 dds 都没搞明白
|
15
Reficul 2023-09-26 23:06:35 +08:00
磁带保存起来比较麻烦,不知道 OP 咋搞的
|
16
MisakiOkusawa 2023-09-26 23:25:08 +08:00
5 还是太小了 体积也是成本 感觉现在可用的至少 7 起步 我在日本这看日拍之类的地方 LTO7 的驱动器均价大概在 12-16w 日元 也就是 5k-8k 的样子 但是考虑到数据安全性可能还要每年读取一遍磁带充一下磁 最后还是搞了矿盘做冷备
|
17
SkywalkerJi 2023-09-26 23:44:28 +08:00
磁带机买什么便宜?
|
18
lm930129 2023-09-27 08:36:25 +08:00
@rio 我在海鲜市场看了下 ,L6 的大概是 1400-1600 这样,L5 大概是 750-800 ,磁带就没看了。有一个双 L6 驱动器的惠普 MSL2024 ,打包是 6K ,带 24 块盘的。
|
19
sunnysab 2023-09-27 09:28:08 +08:00
和 op 有类似的想法!目前有一台 LTO6 6250.
暑假的时候用 Rust 重新写了一下 FreeBSD 中 mt 命令的一些实现,打算做一个磁带备份工具,见 https://github.com/sunnysab/nas-toolbox/tree/master/tape 。基于操作系统自带的磁带机驱动( sa )里的 record 、file 这些概念(功能)做的。不过由于现在接触不到磁带机,项目有很大可能烂尾了… 我当时想解决的问题和 op 类似,比如我现在有 10T 数据,我想写入到若干 2.5T 磁带中,需要一个统一的文件管理器帮我记录文件具体在哪一盘磁带中。另外,我还想支持增量备份。 目前遇到的问题: 不是很好判断剩余空间。比如:当前剩余 100G ,那么我 200G 的电影就写不下,但我可以找几个小文件塞进去。可实际情况下,我不知道剩余 100G (或对应的 record count ),有些头疼。 LTFS 应该解决了这个问题?但我之前略微看了一下 LTFS 相关资料,他们有一些 index 、block 的结构,写入的时候好像不是纯线性的(现在不是很肯定),在我测试的时候写入速度很慢,比使用 tar 命令直接写差远了。 感谢 op 做的工作,先 star 一下,有机会研究研究哈! |
20
abc950309 OP @sunnysab 我这边是直接写入到无法写入为止,回退失败的文件在下一个磁带写入。对于 1.5T 的磁带来讲,如果文件平均大小 10G ,最极端的场景不会浪费超过 1%。LTFS 的 index 时间点可以配置,对于这种场景,直接配置为 umount 时写入 index ,就能避免写入的时候 shoe-shining 了。
|
23
chinafeng 2023-10-09 12:12:05 +08:00
看完评论感觉保存似乎是个大问题?现在大容量机械价格也下来了
|