V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
sniperking1234
V2EX  ›  Kubernetes

k8s 私有化部署,存储方案应该怎么选择?

  •  
  •   sniperking1234 · 2023-03-29 19:14:30 +08:00 · 4000 次点击
    这是一个创建于 441 天前的主题,其中的信息可能已经有所发展或是发生改变。

    之前用的 juicefs 做存储,但是发现 iops 性能太低,不适合给数据库类型的服务提供存储,用 ceph 感觉太重了,除此之外,还有没有其他比较轻量级的方式?

    27 条回复    2024-05-18 02:31:58 +08:00
    perfectlife
        1
    perfectlife  
       2023-03-29 19:17:44 +08:00 via Android
    local pv 省心
    sniperking1234
        2
    sniperking1234  
    OP
       2023-03-29 19:21:02 +08:00
    @perfectlife 使用 localpv 的话,pod 一旦建出来就不能调度到其他 node 了吧,那么如果 node 挂了该怎么处理呢
    ysjiang4869
        3
    ysjiang4869  
       2023-03-29 22:01:14 +08:00 via Android
    pmx1990
        4
    pmx1990  
       2023-03-29 22:17:26 +08:00
    我记得 ceph 用起来坑也不少,之前公司 all in 容器,local 是最佳方案
    做到 pod 不漂移 ip 不变等特性就好
    fisherwei
        5
    fisherwei  
       2023-03-29 23:38:21 +08:00
    你先说说规模呀,多少个 K8S 节点的集群,规划的存储容量是多少。
    ExplodingFKL
        6
    ExplodingFKL  
       2023-03-29 23:38:39 +08:00
    可以试试 nfs-subdir-external-provisioner ,这个需要外部 NFS 服务器,

    或者可以试试 nfs-server-provisioner ,在一个节点建 local-pv 通过 nfs 自动挂载到其他节点

    但 ... 两者 IO 性能并不高
    drizztdu
        7
    drizztdu  
       2023-03-29 23:53:32 +08:00 via iPhone
    Longhorn
    dayeye2006199
        8
    dayeye2006199  
       2023-03-30 00:42:16 +08:00 via Android
    Openebs
    locoz
        9
    locoz  
       2023-03-30 01:44:28 +08:00
    ceph 其实不算重,rook 已经帮你简化很多了,按着要求配置就行。但 ceph 的问题在于维护起来需要有一定的专业知识,在不了解 ceph 的架构和一些设计细节的情况下,出了问题不好解决(虽然通常都可以自动解决)。
    hefish
        10
    hefish  
       2023-03-30 08:50:37 +08:00
    数据库跑到共享存储上去啊,这个注定 IO 不高吧。。。
    zzl22100048
        11
    zzl22100048  
       2023-03-30 08:56:27 +08:00
    directpv/local-path-provisioner
    sampeng
        12
    sampeng  
       2023-03-30 09:06:24 +08:00
    数据库你放 k8s ?是想学死字的 n 种写法吗?
    云端也尽量不要放在 k8s 里啊。虽然他可以漂移。你线上环境飘一个试试看?
    sampeng
        13
    sampeng  
       2023-03-30 09:10:05 +08:00
    ceph 真的已经是简单到爆炸了的东西。。。只要你肯大力出奇迹。就不会出问题。
    比如我上一家,大力出奇迹。两台 dell 的 40T 磁阵。10 台服务器。组成一个 ceph 集群。并且是光交相连所有设备。再来 36 台的 16c64G 的服务器当 k8s 服务器。稳如泰山。2 年到我离职我都没去碰过他,全程默认值。最后一看,也就用了 10T 不到。。也就 2000 来个 pod 吧
    defunct9
        14
    defunct9  
       2023-03-30 09:19:26 +08:00
    glusterFS
    sniperking1234
        15
    sniperking1234  
    OP
       2023-03-30 09:19:37 +08:00
    @fisherwei 规模是 5-10 个节点左右,不算是大规模,所以想找个轻量级的存储
    sniperking1234
        16
    sniperking1234  
    OP
       2023-03-30 09:20:47 +08:00
    @sampeng 现在我们集群规模没有这么大,所以感觉 ceph 有点重了
    sniperking1234
        17
    sniperking1234  
    OP
       2023-03-30 09:22:16 +08:00
    @sampeng 我们是私有部署 k8s ,直接一套集群交出去就行了,要是再单独找机器部署数据库,相当于是两套部署逻辑了
    derek80
        18
    derek80  
       2023-03-30 09:40:19 +08:00
    这块兼顾稳定性和性能的话,商业产品还是领先一些。如果动手能力强可以用下 https://github.com/LINBIT/linstor-server
    sniperking1234
        19
    sniperking1234  
    OP
       2023-03-30 09:48:10 +08:00
    @derek80 我去看下,感觉架构也是挺复杂的
    perfectlife
        20
    perfectlife  
       2023-03-30 10:19:00 +08:00
    @sniperking1234 老实讲如果是小门小户的就这几个节点,技术团队可能也不太强大,没必要有状态服务往 k8s 里扔,找个物理机器部署最安逸。至于 node 挂了该怎么处理呢,首先 node 挂的机率不大,如果是自己机房的机器,参考你日常服务器挂了咋处理。分布式存储用起来爽,出问题直接火葬场
    coefuqin
        21
    coefuqin  
       2023-03-30 11:57:19 +08:00
    rook-ceph.
    sniperking1234
        22
    sniperking1234  
    OP
       2023-03-30 12:37:08 +08:00
    @perfectlife 说的也是,先考虑用 local pv 了
    sniperking1234
        23
    sniperking1234  
    OP
       2023-03-30 13:01:19 +08:00
    @ExplodingFKL 用作数据库的存储感觉就不太合适了
    sniperking1234
        24
    sniperking1234  
    OP
       2023-03-30 13:01:34 +08:00
    @zzl22100048 local-path-provisioner 是不是 openebs 的 pv 类似
    runzhliu
        25
    runzhliu  
       2023-04-12 16:38:03 +08:00   ❤️ 1
    我们之前的私有化方案里用的是 Longhorn+Minio ,可以参考一下
    sniperking1234
        26
    sniperking1234  
    OP
       2023-04-12 17:30:19 +08:00
    @runzhliu 性能和本地存储比怎么样
    Int100
        27
    Int100  
       26 天前
    @runzhliu #25 谢谢分享,我试试
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3557 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 10:30 · PVG 18:30 · LAX 03:30 · JFK 06:30
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.