Kubernetes 该用什么开源存储

[PeiXyJ]

目前，我们公司正在使用青云的 KES ，不过尚未购买存储服务。目前采用 NFS 方案，但其性能似乎已不能满足我们的需求。因此，我们考虑进行更换，选择了 Ceph 。然而，根据一些反馈，Ceph 的运维难度较大。

因此，我想请教各位专家，是否有其他推荐的分布式存储方案？(最好是免费的，因为我们公司的预算有限。感谢大家的建议和帮助！)

买的是青云的 KES,本地许可.部署在集团的 VM 机器上

[mightybruce]

提供的信息太少， 分布式存储多的很， 免费还想好用，性能还不错没有这个可能性。

[GeekGao]

试试 juicyfs ？

[defunct9]

GlusterFS

[PeiXyJ]

@GeekGao 大佬有在生产环节上用过吗?

[PeiXyJ]

@mightybruce 您说的很有道理,其实就是在免费里面找一个最好的而已...

[GeekGao]

@PeiXyJ 没有，我都是用公有云上的。只是之前调研过它

[thet]

GlusterFS+1

[tap91624]

用过 hdfs 魔改的，估计和 hdfs 差不多

[joyoyao]

分布式存储最好不要上 k8s ，数据库之类的可以搞主备方案。分布式存储中网络是最大的瓶颈，如果不是自建物理集群，单独对网络进行优化，性能都不太行, 而且网络优化这一块难度比较大，设备也比较贵。如果用分布式存储的话推荐 ceph 。不过要单独搞个 10G 以上的网口给 ceph 用。主备方案可以考虑 kubeblocks 或者各种数据库 operator 。

[perfectlife]

云上不是可以直接挂在云盘作为 pv 么 ，简单省事

[hutoer]

开源里面最好的估计也就 Ceph 了。GlusterFS 小文件性能极差，不适合 k8s 中使用。

[hutoer]

我们线上 10 多台存储服务器，跑 Ceph ，还行吧，平常也没啥需要运维的

[COW]

我建议先从硬盘规格、网络带宽、共享协议这几个方面进行优化，然后再考虑分布式存储方案，Ceph 已经是个比较理想的选择了，运维上确实有一定门槛，而且硬件差的话运维起来会很难受。

[zed1018]

mark 一下这个帖子，我们现在在用 nfs ，作为 client 的那个 node 性能指标确实很难看。

[CCIEliu]

如果你想方便易用，强推 Longhorn ，甚至有 web 管理页面，全量备份，增量备份，离线备份到 S3 ，多副本，热升级，都行。 用了都说好。
https://longhorn.io/


当然如果你想功能完善健壮，那还是要用 ceph+rook

[sunziren]

ipfs

[pckillers]

目前用腾讯云的 K8s 。 貌似叫 TKE 吧。 储存原来是 nfs 协议的 CFS 服务。 后来跑 ai 就上了个不知啥协议的腾讯自己封装的 cfs-turbo 服务。 插件里点一下，就装好对应的 storage-class 了。 很方便。

[COW]

@CCIEliu longhorn 是块存储设计，如果 k8s 上利用 RWX 共享卷给团队用，相当于走了 nfs + 块存储两层，而 NAS 直接走 nfs 只要走一层，同样的硬件下，性能说不定更慢了

[CCIEliu]

@COW
0. Longhorn 当然是快存储设计，楼主正在寻找分布式存储，Longhorn 即为分布式快存储。
1. 楼主没说要 RWX ，目前只是已经在用 NFS 的方式提供持久化方案。
2. 楼主明确说 NFS 已经不满足读写性能， 如果切换 longhorn ，楼主不至于用已经存在性能问题的 NFS 当后端。过两遍存储逻辑。
3. 也有没在回复中推荐将 NFS 作为 longhorn 的底层存储。
4. 没明白你单独拎出来这种"如果"想表达什么。

[CCIEliu]

@CCIEliu *块存储

[COW]

@CCIEliu 我的意思是 op 可能就不需要块存储的需求，NAS 本身主要就是用于文件共享和备份，是基于 nfs smb 这种文件级协议设计的，如果想找替代品的话，应该是倾向于类似 cephfs 这种文件级的存储方案。

[yuhr123]

试试 juicefs 吧，先用开源版，数据规模大了换商业版。

[kd9yYw2RyhQwAwzn]

mark 下 我们也用了 nfs 方案 性能确实差

[PeiXyJ]

@perfectlife 是本地私有化部署的

[d0m2o08]

ceph-rook 集成到 k8s 集群里

[PeiXyJ]

@d0m2o08 大佬知道 ceph-rook 和 ceph 单独部署在别的服务器哪个稳定性更高. 硬件稳定性不考虑.

[vopsoft]

fastCFS 据说性能不错 就是案例少

[vopsoft]

或者京东这个呢 https://cubefs.io/zh/docs/master/ecology/k8s.html#k8s-v1-13-之前版本配置