V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
cccy0
V2EX  ›  问与答

ETL 从 mysql 到 elasticsearch 有啥好的解决方案吗

  •  
  •   cccy0 · 2019-07-08 13:56:20 +08:00 · 1342 次点击
    这是一个创建于 1747 天前的主题,其中的信息可能已经有所发展或是发生改变。
    3 条回复    2019-07-08 16:41:35 +08:00
    cccy0
        1
    cccy0  
    OP
       2019-07-08 13:58:01 +08:00
    需要将数据极度复杂的处理一下, 然后入 ES, 所以必须得自定义插件, 用 flume 自定义 source 和 sink 感觉有丶复杂了
    LukeChien
        2
    LukeChien  
       2019-07-08 15:56:40 +08:00 via Android
    用 canel 消费 binlog 吧,可以再加个 mq 并行处理,然后入 es
    cccy0
        3
    cccy0  
    OP
       2019-07-08 16:41:35 +08:00
    @LukeChien #2 哦? , 感觉可以搞一下
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2443 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 15:57 · PVG 23:57 · LAX 08:57 · JFK 11:57
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.