V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要把任何和邀请码有关的内容发到 NAS 节点。

邀请码相关的内容请使用 /go/in 节点。

如果没有发送到 /go/in,那么会被移动到 /go/pointless 同时账号会被降权。如果持续触发这样的移动,会导致账号被禁用。
mrzx
V2EX  ›  NAS

为什么没人用多台跑了 open-zfs 的 NAS,搭配 ceph 跑分布式存储?怎么还没普及?

  •  
  •   mrzx · 1 天前 · 2063 次点击

    以后多台 NAS 肯定是趋势吗,安全性大不了用三副本吗

    是大多数家庭内网不到 10G 速率,还是分布式存储目前属于“溢价和额外收费阶段”,不好下放到民用级?

    我看成熟的群晖,和 truenas 主流的 NAS 系统,都把类似功能做成企业级功能进行额外收费

    39 条回复    2025-12-13 11:56:54 +08:00
    xtreme1
        1
    xtreme1  
       1 天前
    如果我的 home server 达到这个规模, 我肯定存算分离
    dode
        2
    dode  
       1 天前
    NAS 天然都配置了 RAID ,没有处理性能,没有 CEPH 运行设备条件
    banmuyutian
        3
    banmuyutian  
       1 天前   ❤️ 1
    家庭用还搞分布式纯属给自己找活干吗
    mrzx
        4
    mrzx  
    OP
       1 天前
    @dode 底层用 raiz2,再 ceph 上 双副本都用不着。。。

    主要多台 nas,为什么不做有效的存储资源整合?
    KagurazakaNyaa
        5
    KagurazakaNyaa  
       1 天前
    ceph 的 osd 最好是直接跑在物理硬件上,不建议再套一层 raid ,否则 PG 的再平衡可能会出问题哦
    mrzx
        6
    mrzx  
    OP
       1 天前
    @KagurazakaNyaa 我懂你的意思,一旦某个 raid 组中的硬盘损坏,或导致 raid 组性能下降(并且还存在数据安全),但 ceph 还认为这个 raid 组是好的单个节点存储。继续向已损坏的硬盘写入数据,并且会造成整个分布式存储性能下降。
    导致 PG 的再平衡出现严重问题。。


    但是,这一切的前提是建立在 raid 组出现问题的条件下。。。家里有好几台 NAS ,哪个硬盘损坏,不是很快就发现了吗?
    mrzx
        7
    mrzx  
    OP
       1 天前
    而且,我大不了不用 raid 吗,就单纯用 zfs,不行吗?

    靠 ceph 的三副本冗余机制也可以吗
    KagurazakaNyaa
        8
    KagurazakaNyaa  
       1 天前
    @mrzx 你都用 ceph 了何必还要 zfs 呢,你是打算 zfs 跑在 ceph 的块存储上?
    mrzx
        9
    mrzx  
    OP
       1 天前
    @KagurazakaNyaa 是,因为 NAS 里还有很多没用完的资源,想整合
    KagurazakaNyaa
        10
    KagurazakaNyaa  
       1 天前
    @mrzx 那为啥不直接用 cephfs ,ceph 本身是有块存储、文件系统存储和对象存储功能的
    ntedshen
        11
    ntedshen  
       1 天前   ❤️ 2
    天天普及,啥都普及,啥都主流
    等于啥都不普及,啥都非主流
    8675bc86
        12
    8675bc86  
       1 天前
    纯属给自己挖坑,ceph 的坑比 zfs 大多了,一般公司小团队都不一定能搞定,屎山一样的代码。那个 C++,写的各种风格,看着贼难受。
    HTravel
        13
    HTravel  
       1 天前
    CEPH 家用很垃圾的,因为它把每个大文件分成小块,这就导致看一部电影,可能要到所有磁盘上找各个块来合并成一部电影。商用场景下没错,IO 性能最高。但家用场景下所有磁盘都不能休眠,耗电高、温度高、空调散热压力大、炒豆子声音和散热风扇声更是受不了。

    其实基于文件散列值,自己写一个家用的分布式存储并不难。基于散列值分片,每个片有 3 块硬盘来达到三副本。考虑到不是同一时期买的硬盘(但一次必须买 3 块盘),后买的硬盘容量更大,那可以数据分片时环形哈希就行了。不考虑动态扩容,存不下了采用数据割接方案。

    在确保三副本前提下,应该尽可能将一个文件完整存储在一个磁盘上。家用场景很可能是晚上才看部电影,甚至都不看,所以所有硬盘在正常情况下都应该休眠。

    当然实际上都不需要这么麻烦。只需要保证 3 副本,然后不同的磁盘取不同的名字就完了,手动往上面放就行,最简单最好维护。我家里就这么玩的。而我之所以提了散列值,是因为我的文件快照,就是这样实现的。
    goodryb
        14
    goodryb  
       1 天前
    就 nas 这种需求你要上 ceph ,属于是大炮打蚊子
    viking602
        15
    viking602  
       22 小时 55 分钟前
    nas 还要上 ceph 了吗...? 没活给自己找点活干?
    YUyu101
        16
    YUyu101  
       22 小时 37 分钟前
    这是企业级的需求了吧,除非做慈善免费给家用,不然就要人人学运维。
    47jm9ozp
        17
    47jm9ozp  
       20 小时 18 分钟前   ❤️ 3
    国家电网战略合作单位
    zzboat0422
        18
    zzboat0422  
       20 小时 9 分钟前
    ceph 这种软件定义存储,cpu 和内存消耗都很高,不如硬件直接配置的存储功能
    charles0
        19
    charles0  
       19 小时 22 分钟前 via iPhone
    Ceph 操作太复杂,没必要,这属于工作量不饱和
    dann73580
        20
    dann73580  
       18 小时 57 分钟前
    家用的话为什么要多台 NAS?单台冗余够了,哪怕整个节点故障,数据又不会丢,只是有停机时间。家用用户要为 0.1% 每年的故障时间上分布式的意义在哪?再说免费的方案你也可以跑多个 pve 主机,人家内置 ceph 集群方案,免费的,直接跑就完事了(然后给自己挖坑)
    allplay
        21
    allplay  
       18 小时 51 分钟前
    家庭+分布式=有病
    felixcode
        22
    felixcode  
       18 小时 4 分钟前 via Android   ❤️ 2
    回家上运维的班
    wtsamuel
        23
    wtsamuel  
       18 小时 3 分钟前 via iPhone
    zfs 够用了。raidz1 不够上 raidz2, raidz2 不够上 raid3 。重要的数据,远程再备份 1 到 2 个
    coldle
        24
    coldle  
       17 小时 9 分钟前
    企业都不一定乐意用 ceph ,民用也太搞了,我有 pve 都不想跑
    KagurazakaNyaa
        25
    KagurazakaNyaa  
       17 小时 6 分钟前
    另外其实 ceph 的性能损耗挺严重的,我之前 3 节点跑 ceph ,要满速必须要独立的 10G 网卡和交换,你直接数据和管理用同一个 10G 口速度很容易就上不去,如果是全闪甚至要做聚合才够支持,就这样在再平衡的时候带宽可能都不够跑满
    Donahue
        26
    Donahue  
       14 小时 22 分钟前
    谁家好人家庭储存 50TB 以上的
    flyqie
        27
    flyqie  
       14 小时 13 分钟前 via Android
    挺好奇一个问题,楼主的 nas 主要拿来做 storage 还是 netdisk ?
    Danswerme
        28
    Danswerme  
       13 小时 53 分钟前
    全世界 99%的家庭内网不到 2.5G 速率,也没有 NAS 这种东西,更不关心 “分布式存储” 这种东西。
    lengyuqu
        29
    lengyuqu  
       13 小时 34 分钟前
    我就想知道家用 zfs 的价值在哪里?是我的全闪 nas 不够快了,还是 raid+本地备份+网盘加密备份不够用?家用高频到一天一备份不够了?
    就这还配置个 ceph ,那是怕自己班上的不够吗?
    SuPerC
        30
    SuPerC  
       13 小时 11 分钟前
    家用集中式的存储就够了,上分布式的不是给自己找麻烦嘛。
    zhouu
        31
    zhouu  
       12 小时 37 分钟前
    不如把 3 台设备的硬盘放到一台上单池多 vdev 这样性能高,然后如果需要块存储直接 NVMe of 提供给别的机器,不然 smb/nfs 挂载就行
    vopsoft
        32
    vopsoft  
       10 小时 57 分钟前 via Android
    两个都不稳定 似乎也都只是用来折腾的玩具。ceph 复杂,性能是应当是已知网络存储中最差的 ZFS 更新丢数据 最近刷到过 b 站有影视公司恢复几十 T ZFS 案例
    tywtyw2002
        33
    tywtyw2002  
       8 小时 1 分钟前 via iPhone
    ceph 还套 raid 没事吧? ceph 是节点冗余啊。

    zfs 不跑分布式,是硬件冗余,连阵列柜。
    msg7086
        34
    msg7086  
       7 小时 25 分钟前
    多台 NAS 为什么是趋势?
    家用为什么要分布式高可用?
    为什么同一个楼里做分布式可以提高安全性?

    我做分布式存储是用 garage 做的,家里和异地机房构成异地多节点存储,但这玩意儿是当 OSS 存重要数据用的,比如网站的备份之类的。家用 NAS 一台不就够了,你要 12 盘就买 12 盘的 NAS ,要 36 盘就买 36 盘的 NAS ,我相信一般人家里 36 块 28T 应该日常够用了吧,为什么还要搞多台 NAS 组分布式?
    msg7086
        35
    msg7086  
       7 小时 23 分钟前
    @lengyuqu ZFS 主要看中 RAIDZ 冗余和 sanoid 自动快照管理。实在没必要搞 ceph 就是。
    BN5MDKFM
        36
    BN5MDKFM  
       3 小时 36 分钟前
    @flyqie 他应该是属于酒后一时冲动,看了一眼百度百科就开始构建完全理想的大同世界了,哪怕问下豆包这种基础 GPT 也不会放出这种过度情绪性的脑补狂言
    cpstar
        37
    cpstar  
       3 小时 4 分钟前
    如果我选 ceph 和 minio ,我倾向于后者,如果选择直接连接分散的磁盘和 RAID 化的磁盘,minio 推荐用前者。至于 zfs ,跟对象存储应该是两条路,混在一起,有点四不像。
    hefish
        38
    hefish  
       2 小时 28 分钟前
    op ,起来加班啦。。
    chenjichao729
        39
    chenjichao729  
       45 分钟前 via Android
    有什么意义?你是怕国家像翻当年快手一样翻你 nas🤔,我记得当年快手就是有 4 台服务器忘记分布式被国家逮了,怎么滴,你是怕自己 nas 被国家翻
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2567 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 43ms · UTC 04:42 · PVG 12:42 · LAX 20:42 · JFK 23:42
    ♥ Do have faith in what you're doing.