V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
cernard
V2EX  ›  问与答

有大佬推荐一下合适的分布式文件系统和分布式文件缓存解决方案吗?

  •  
  •   cernard · 2020-04-14 00:52:08 +08:00 · 1069 次点击
    这是一个创建于 1720 天前的主题,其中的信息可能已经有所发展或是发生改变。

    需求是这样:

    1. 系统运行阶段,每一步配置会产生一个临时文件,下一步的配置需要读取这个临时文件的内容,想把这些文件放在内存中缓存,加速文件存储和读取,有什么推荐的框架吗?尝试过 Redis,原生不支持文件的存储,需要序列化和反序列化,这里的处理比较慢。

    2. 系统是分布式服务系统,不同的服务之间需要共享文件数据,这里做持久化存储,可选的框架就多了。不过想要最好和第 1 布中使用相同的框架,比如路径 /foo 访问的文件是内存中缓存的文件,路径 /bar 访问的是 HDD 中持久化的文件。这样方便统一开发使用。

    总结一下需求:

    最好是一个框架能支持分布式内存缓存和分布式文件存储两种功能,使用相同的方式读取,不过不同的路径可以声明为不同的存储介质。

    如果不存在这样的框架,有什么成熟高效的架构可以推荐吗?

    1 条回复    2020-04-14 10:35:10 +08:00
    cernard
        1
    cernard  
    OP
       2020-04-14 10:35:10 +08:00
    Alluxio 可以达到部分功能,但是不支持直接使用 memory 作为 cache,使用 hdfs cache 加上 Alluxio 的 UFS 映射可以吗?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1390 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 17:37 · PVG 01:37 · LAX 09:37 · JFK 12:37
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.