海量图片(文件)分布式储存方案选择

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 1933 天前的主题，其中的信息可能已经有所发展或是发生改变。

现在有几十 T 图片数据，读多于写，该采用什么分布式方案？ Mongodb 还是专业的分布式文件系统，比如阿里家的 TFS,用 mongo 的性能够么

分布式

mongo

MongoDB

tfs

17 条回复 • 2019-09-15 11:06:44 +08:00

miniliuke

2019-09-14 13:07:47 +08:00 via Android

不需要对图片进行检索，只需要根据文件名读取或者保存就行了

windfarer

2019-09-14 13:38:04 +08:00

用阿里云的对象存储服务，自己不折腾

miniliuke

2019-09-14 13:47:55 +08:00 via Android

@windfarer 在内网布啊

dimlau

2019-09-14 14:22:20 +08:00

minio ？

miniliuke

2019-09-14 14:43:55 +08:00 via Android

@dimlau 好像不支持在线扩容，有点尴尬

swulling

2019-09-14 14:48:58 +08:00 via iPhone

几十个 Tmongo 绰绰有余

swulling

2019-09-14 14:49:56 +08:00 via iPhone

三台服务器，每台选 8*8T。三副本 mongo 正好。

slixurd

2019-09-14 15:40:26 +08:00

一个 S3 的场景怎么也不可能要用数据库来支持的....
不要给自己埋坑...
这在业界有主流方案,没必要用 MongoDB

37Y37

2019-09-14 16:09:49 +08:00

对象存储是最合适的

XiaoxiaoPu

2019-09-14 16:38:36 +08:00

Openstack Swift ？

rrfeng

2019-09-14 16:50:45 +08:00 via Android

TFS 挺适合。不过没用过不知道生态环境技术支持啥的

Reficul

2019-09-14 17:32:18 +08:00 via Android

minio ？

akira

2019-09-14 19:29:16 +08:00

Mongodb 是拿来存数据的吧，存图片不大合适吧

husinhu

2019-09-14 20:33:24 +08:00 via Android

要数据库干啥直接 azure storage 或者 aws/ali s3

chinesestudio

2019-09-14 20:44:39 +08:00 via Android

就这么点数据 ceph 就好了

vZexc0m

2019-09-15 10:22:45 +08:00 via Android

用 minio 吧，多上几块硬盘就完了。

msg7086

2019-09-15 11:06:44 +08:00

这么一丁点数据，ceph 也好 minio 也好，再不济直接 GlusterFS 干啊。

其实吧，这么一丁点数据，好像单机就能跑了……
你也没说请求数有多大。真的量大就上点 4TB 的 QLC，再稍微分一下文件命名空间，把文件分散存储就行了。