V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
shiyuu
V2EX  ›  服务器

ceph 的几个问题 wal、db、pg_num

  •  
  •   shiyuu · 22 天前 · 412 次点击
    有 3 台服务器磁盘都是:
    4 块 3.2T NVME 硬盘
    24 块 8T SATA 硬盘

    做 ceph 集群,有几个参数不太理解,想把所有的 SATA 都加入 ceph ,副本数是 3
    1 、创建 OSD 的时候可以选择 NVME 硬盘存放 wal 和 db ,这个 wal 和 db 的大小我应该分配多少?比如每个服务器我都拿其中一块 3.2T 的 NVME 来分区,分别用来存全部 osd 的 wal 和 db

    2 、创建 pools 的时候还有个 pg_num 参数,这个 pg 数值的大小又怎么确定?
    3 条回复    2024-04-11 12:59:30 +08:00
    zizon
        1
    zizon  
       21 天前
    3 台 24 块 sata 就当你要起 72 个 osd 呗.
    pg_num 就 72 的倍数吧,至少数字上可以尽可能做到每个 osd 的 pg 数量均匀(straw hash).

    非要 wal 分开的话,那你得把 4 块 nvme 做个 lvm 分成 24 个 lv 给 24 个 osd 用吧(per nonde).
    reference: https://docs.ceph.com/en/quincy/rados/configuration/bluestore-config-ref/
    shiyuu
        2
    shiyuu  
    OP
       21 天前
    @zizon 懂了,还有个问题,可不可以把 nvme 和 sata 全都做成 osd ,能不能 nvme 的做一个 pools 、sata 做一个 pools ,这样分开
    zizon
        3
    zizon  
       20 天前
    @shiyuu 可以.
    你在建立 pool 的时候其实是可以指定把 pg 放置到哪一些目标 osd 的(pool 指定 crush rule).

    相关文档.https://docs.ceph.com/en/latest/rados/operations/crush-map/
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   794 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 20:36 · PVG 04:36 · LAX 13:36 · JFK 16:36
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.