V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
zhxjdwh
V2EX  ›  问与答

一个弱智的问题, hive 数仓的数据同步,如果源数据库里面的数据被修改了,那怎么办

  •  
  •   zhxjdwh · 2020-01-01 14:37:48 +08:00 · 1521 次点击
    这是一个创建于 1772 天前的主题,其中的信息可能已经有所发展或是发生改变。
    如题:hive 数仓的数据同步,如果今天订单导入 hive 了,第二天用户又修改了订单信息,那怎么办?这样 hive 里面的数据就是脏数据了,这样的话,做分析统计 就跟实际的情况 就会有比较大的差异了
    ------
    是不是还要一个数据更新的机制?这个一般是怎么处理的?
    3 条回复    2020-01-03 08:24:44 +08:00
    laimailai
        1
    laimailai  
       2020-01-02 09:00:57 +08:00
    我们是每天覆盖
    laimailai
        2
    laimailai  
       2020-01-02 09:01:39 +08:00
    还有个拉链表方案去看下
    zhxjdwh
        3
    zhxjdwh  
    OP
       2020-01-03 08:24:44 +08:00 via Android
    @laimailai 谢谢,我了解一下
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3027 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 13:43 · PVG 21:43 · LAX 05:43 · JFK 08:43
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.