V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
dreamdragon
V2EX  ›  程序员

ceph 生产环境搭建和配置推荐

  •  
  •   dreamdragon · 15 天前 · 1967 次点击

    ceph 搭建生产环境和配置有什么推荐的吗 1 、是否推荐直接用官方推荐的 cephadm 2 、有没有相关的自动化安装脚本 3 、ceph.conf 是否有相关的最佳实践

    34 条回复    2024-11-26 23:35:09 +08:00
    brucewsl
        1
    brucewsl  
       15 天前
    都敢上生成环境了, 牛逼
    idealhs
        2
    idealhs  
       15 天前
    这个类似 minio?
    COW
        3
    COW  
       15 天前 via Android
    1. cephadm 肯定用,2. ansible 自己写脚本,3. 没有,配置项很多,对运维要求挺高。顺便说一下,这玩意对硬盘和网络有挺高要求,装备不行不建议硬上。
    zsj1029
        4
    zsj1029  
       15 天前
    就用 cephadm 部署很方便,提前下好镜像,容器直接部署
    多节点好方便的,很稳定,集群存储
    硬盘一定要多
    支持各类存储,块,对象,文件
    xcai
        5
    xcai  
       15 天前
    推荐阅读 https://docs.redhat.com/zh-cn/documentation/red_hat_ceph_storage/6 即使不用 redhat 的,也可以用作参考部署和最佳实践
    Judoon
        6
    Judoon  
       15 天前
    rook
    oldAndy
        7
    oldAndy  
       15 天前
    最好是请个 ceph 专家 从基础配置到最后部署一把梭 毕竟部署一套生产环境用的 ceph 硬件成本和运维成本 还是蛮高的
    dreamdragon
        8
    dreamdragon  
    OP
       15 天前
    @COW 好的,得整配置高一点的机器
    dreamdragon
        9
    dreamdragon  
    OP
       15 天前
    @zsj1029 你们生产环境也是这么整的么,运行后稳定吗
    dreamdragon
        10
    dreamdragon  
    OP
       15 天前
    @oldAndy 这个事情基本是一个人负责的,之前招了两个 ceph 开发,都跑路了
    dreamdragon
        11
    dreamdragon  
    OP
       15 天前
    @brucewsl 强行上
    zsj1029
        12
    zsj1029  
       15 天前
    @dreamdragon 是的,我们集群少就几台主机,pve 配这个就行,内网带宽要够,很稳定的,跑了 2 年多了
    hejw19970413
        13
    hejw19970413  
       15 天前
    不会就默认!
    realpg
        14
    realpg  
       15 天前
    如果你对性能要求很高,且是导出块存储使用,不建议没经验的自己搞

    之前给人搞生产的 ceph 可行规划,都得收大五位数,实施另计

    就单纯的硬件选型匹配需求就得大五位数
    oldAndy
        15
    oldAndy  
       15 天前
    @dreamdragon 运维也成 会 ceph 的本来就少
    dreamdragon
        16
    dreamdragon  
    OP
       15 天前
    @realpg 其实已经招了几个人,成本花出去了,没弄成;招的人水平一般,估计后面还得招个专业运维的人过来
    dreamdragon
        17
    dreamdragon  
    OP
       15 天前
    @xcai 好的,感谢
    realpg
        18
    realpg  
       15 天前
    @dreamdragon #16
    ceph 这玩意 还是要看你的项目需求
    我们这种高性能块存储要求的 因为性能过渣 已经不再搞扩容这个了
    之前项目卖了以前,机房的全机房存储的 ceph 就已经不再扩容了

    后面也只有性能要求很低的才从 ceph 导出 iscsi

    另外这玩意的分层存储也是灾难,好像自己后续版本都干掉了
    Tinet
        19
    Tinet  
       15 天前
    硬盘记得用 nvme 或者 ssd ,不然延迟高得很,数据库应用根本用不了
    realpg
        20
    realpg  
       15 天前   ❤️ 1
    @dreamdragon #16

    ceph 只要规划好,性能算好,内网规划好是 10G*2 ,10G*4 ,40G*2 够用,基本上后期没啥可运维的

    如果规模巨大,需要养一些换盘工,我们之前的 PB 级机房中心 ceph ,基层就是换盘工,做好控制台和脚本,哪块盘坏了换盘工就点点鼠标然后去换盘

    ceph 自身基本你只要不升级他 就能长期稳定运行

    ceph 这玩意 规划才是最麻烦的成本最高的,其次是自建管理平台能脚本化解决日常问题

    当时我是总工,基本算我就俩人懂 ceph ,换盘工八个人 24 小时倒班,机房 ceph 基本两三年不出问题
    zizon
        21
    zizon  
       15 天前
    cephadm 已经够自动化了吧.
    默认参数挺优的.
    只是 crushmap 结构要提前想好.
    NevadaLi
        22
    NevadaLi  
       15 天前
    直接上商业 xsky 吧
    dreamdragon
        23
    dreamdragon  
    OP
       15 天前
    @realpg 牛的,大佬
    mingtdlb
        24
    mingtdlb  
       15 天前
    @brucewsl 没你想的那么复杂(也没说简单),定期检修+监控,有问题及时处理,没问题。我们用好几年了,还是 12 的,当然不是我搭的😂另外我们的水平应该也只限于简单运维,比如那种双副本,如果坏了三台主机系统,但 osd 都没问题,这种也是重构不起来 ceph 集群。

    就用 cephadm ceph-deploy 比较简单,都封装了。我一直想了解手动部署的过程,没搜到,这样可以了解的更深入一下。

    ceph.conf 用默认的就行,不建议调整。让我想起了有些人一天天的内核调优,我感觉默认的配置就能满足 90%的需求,不精通 去调整参数,出问题更懵逼。
    mingtdlb
        25
    mingtdlb  
       15 天前
    @mingtdlb 对了,如果有钱,你还是打工仔,还是用商业的吧 xsky 衫岩应该都还不错,做挺久了,有积累。
    GT1
        26
    GT1  
       15 天前
    ceph 软硬件配置合理,一般几年不会出问题,出了问题,一般人也解决不了。
    8675bc86
        27
    8675bc86  
       15 天前
    ceph 不建议上生产,问题太多。
    资源开销大,使用成本高,性能也不行。
    gvdlmjwje
        28
    gvdlmjwje  
       15 天前
    这万一搭建完了你兜不住咋办。。。要不考虑下 LS 几位说的商业产品
    vopsoft
        29
    vopsoft  
       15 天前
    https://www.v2ex.com/t/912582 目前看这类存储的就没有太完美的(尤其是自建)
    Akiya
        30
    Akiya  
       15 天前
    我建议你直接去买现成的 ceph 存储产品,自己招人整明显成本更高
    carmark
        31
    carmark  
       15 天前
    用 ceph 之前先看看自己的场景,一般 rbd>rgw>fs ,块设备的话问题应该比较小,文件系统风险最大。

    同时要考虑好部署服务对象,以及具体要求,如果是小文件很多的场景,那么 fs 压力会非常大,而且经常容易 OOM 。

    所以存储不能解决所有场景的问题,最简单的办法就是简化问题,放到垂直领域,用最简单的功能,减少复杂功能的使用。

    如果要细节,那就太多了,我也不是专业的,只是刚毕业的时候搞了两年存储。
    yfixx
        32
    yfixx  
       15 天前 via Android
    ceph 没有一定实力还是不要轻易上生产,普通人玩不转的,前期规划后期维护都是需要有一定经验的人去弄
    realpg
        33
    realpg  
       15 天前
    @yfixx #32
    其实吧 能保证数据中心不断电不意外关机 至少电力供应得三四个故障域的话,只要原始规划做的足够不产生任何瓶颈,ceph 是非常省心 基本你只需要换盘工(高负载全闪,考虑闪存盘寿命和故障率)

    一旦原始规划不行,存储网带宽啊,导出前端网带宽啊,或者 iops 规划啊,出现问题,那后面麻烦事儿真的谁也搞不定,ceph 开发者也搞不定,xsky 也麻爪

    还有这玩意的分层存储就是一坨屎 千万不要用
    realpg
        34
    realpg  
       15 天前
    @Akiya #30
    告诉你 规划不好 xsky 也不行

    ceph 的最大关键 是项目规划 以及导出性能需求评估
    你肯掏 1/4 以上的钱用在规划上 且规划完美满足需求,那 ceph 就一点坑没有

    规划有问题的 什么商业 ceph 都没用
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   856 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 21:17 · PVG 05:17 · LAX 13:17 · JFK 16:17
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.