首页 注册 登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
› Apache Hadoop
› Hortonworks Sandbox
› Intel Hadoop Distribution
› Treasure Data
ysn2233
V2EX  ›  Hadoop

大数据环境中压缩格式用什么比较好？

  •   
  •   ysn2233 · 2020-03-12 10:08:03 +08:00 · 2493 次点击
    这是一个创建于 1498 天前的主题，其中的信息可能已经有所发展或是发生改变。

    因为文件大小可能不一，需要支持 splittable 的，目前看到的貌似有 Bzip2 和 lzo （需要建索引），哪个相对比较好用？

  • splittable
  • bzip2
  • lzo
  • 索引
    1 条回复  •  2020-03-12 14:46:44 +08:00
    alya
        1
    alya  
       2020-03-12 14:46:44 +08:00
    snappy lz4 zstd
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3776 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 00:14 · PVG 08:14 · LAX 17:14 · JFK 20:14
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.