V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要把任何和邀请码有关的内容发到 NAS 节点。

邀请码相关的内容请使用 /go/in 节点。

如果没有发送到 /go/in,那么会被移动到 /go/pointless 同时账号会被降权。如果持续触发这样的移动,会导致账号被禁用。
ccde8259
V2EX  ›  NAS

上了 Ceph 以后才意识到有些东西不是一个人能够搞定的

  •  
  •   ccde8259 · 2023-10-08 10:10:28 +08:00 · 2737 次点击
    这是一个创建于 406 天前的主题,其中的信息可能已经有所发展或是发生改变。

    自从上次搭 Rook Ceph 把 MySQL 扔上去跑的蠢事以来,又遇到一个心塞的问题,让我不得不考虑如何下 Ceph 。
    Rook Ceph 在 K8S 上跑了一年,除了性能烂的一。。踏糊涂以外倒没有带来什么可用性上的问题。于是准备将 ZFS 里的所有文件迁移进去 RGW 提供的对象存储里边……从这里开始事情变得离谱,向 RGW 写入的时候一看速度只有 25M/s……底层是单盘可以跑上 200M/s+的 HC530 ,在 Ceph 的 RGW 上只能跑出 25M/s 的速度……
    看了一看 Dashboard ,IOPS 打到了 100+,基本也是机械盘的极限……意味着也不是机械盘的问题……

    5 条回复    2023-10-09 07:44:15 +08:00
    zhenjiachen
        1
    zhenjiachen  
       2023-10-08 10:28:03 +08:00
    我之前也是用的 Rook Ceph ,然后有次断电了,结果 pod 就恢复不了了,,然后 Rook Ceph 里面数据也不知道存在哪完全找不回,现在换 nfs 了,只有一个 pod ,非常的轻量,然后还能直接上 nfs 服务器看到那些文件夹。断过一次电也没出过什么问题。
    ExplodingFKL
        2
    ExplodingFKL  
       2023-10-08 10:45:02 +08:00


    ceph 是同步写入 ... 如果是多副本的话就更慢了
    zizon
        3
    zizon  
       2023-10-08 21:14:44 +08:00
    记得 rgw 是个 python 的东西...
    换 cephfs/rbd 试试...
    aijam
        4
    aijam  
       2023-10-09 04:45:46 +08:00
    我一度怀疑,rgw 大量损耗在 s3 xml 解析上。要不换 swift API 试试看
    yanest
        5
    yanest  
       2023-10-09 07:44:15 +08:00 via Android   ❤️ 1
    以前我也觉得 ceph 不错,后来实践了一阵,总结就是,6 个节点( 60 个 osd )以下还是别浪费钱了。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   960 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 22:47 · PVG 06:47 · LAX 14:47 · JFK 17:47
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.