通过以下 Referral 链接购买 DigitalOcean 主机，你将可以帮助 V2EX 持续发展
› DigitalOcean - SSD Cloud Servers
廉价 VPS 计划存储 1 亿个 10KB 小文件提供对外访问，这 1 亿个数据怎么存储比较好？
nonsense · 2017-11-09 21:00:32 +08:00 · 459 次点击这是一个创建于 2601 天前的主题，其中的信息可能已经有所发展或是发生改变。
100M*10KB = 10G 大小 廉价 VPS 的机械硬盘读取吞吐量在 50M ～ 130M 左右
首先是不是否定了直接存硬盘？ 100M 的 inode 元数据一是得重新格式化分区，二是 inode 元数据也要访问机械硬盘就太慢了。
存储在 mysql/mongo/postgre 之类的数据库中，避免了元数据频繁访问，对每个文件做 hash，根据访问 hash 返回数据。cpu 能撑住的话应该能跑满峰值 1Gbps/125M 的带宽。
除直接存储和存数据库之外还有其它的存储方案吗？
首先是不是否定了直接存硬盘？ 100M 的 inode 元数据一是得重新格式化分区，二是 inode 元数据也要访问机械硬盘就太慢了。
存储在 mysql/mongo/postgre 之类的数据库中，避免了元数据频繁访问，对每个文件做 hash，根据访问 hash 返回数据。cpu 能撑住的话应该能跑满峰值 1Gbps/125M 的带宽。
除直接存储和存数据库之外还有其它的存储方案吗？
 |
1
msg7086 2017-11-11 11:16:35 +08:00
文件系统也是一个树形数据库。
元数据不管怎样都会存在硬盘上，你以为数据库就没元数据了吗。 存文件系统的话可以看看 Reiser4。 |
 |
2
derek80 2017-11-11 21:37:18 +08:00
光存储的化存储类似 s3 对象存储比较划算吧。
|
 |
3
wavingclear 2017-11-12 09:58:45 +08:00 via iPad
我为什么算出来是 1000G。。。
|
Select Language