V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
sunorg
V2EX  ›  程序员

现在比较轻量的 bi 和 etl 是什么?

  •  
  •   sunorg · 353 天前 · 2788 次点击
    这是一个创建于 353 天前的主题,其中的信息可能已经有所发展或是发生改变。

    有一批数据要处理,数据源乱七八糟,但数据量不大,一般一天递增 2 万,哪位朋友能给推荐个 ETL 和 BI 可视化的??

    15 条回复    2024-01-18 20:24:33 +08:00
    sunorg
        1
    sunorg  
    OP
       353 天前 via Android
    .补充下信息:

    目前数据源主要是 excel ,mongodb ,json 文本,普通 txt.

    主要使用需要是 python 。
    haimianbihdata
        2
    haimianbihdata  
       353 天前 via Android   ❤️ 1
    有预算就帆软的,没有就开源 superset 之类的 bi 。etl 就海豚调度➕Python 处理文本入库。大差不差
    KKLeon
        3
    KKLeon  
       353 天前 via Android
    powerbi 和 tableau ? tableau 可视化做的不错,原来体验过,不过我用的很基础
    ferock
        4
    ferock  
       353 天前 via iPhone
    mark ,期待后续解答
    hysys32
        5
    hysys32  
       352 天前 via iPhone
    powerbi 宇宙最强
    sunorg
        6
    sunorg  
    OP
       352 天前 via Android
    @haimianbihdata 感谢,我学习一下这个去
    Babbitt
        7
    Babbitt  
       352 天前 via iPhone
    有类似需求,关注下
    fridaycatye
        8
    fridaycatye  
       352 天前 via Android
    mark ,我自己用过 datax 和 kettle
    sujin190
        9
    sujin190  
       352 天前 via Android   ❤️ 1
    https://github.com/snower/syncany-sql

    那来推荐下这个项目呗,写 SQL 可以同时查询你需要的这些数据源还可以相互 join ,python 搞的,出发点也就是你现在遇到的这种需求,把统计结果同步到 mysql 之类的,图表用 superset 就很好用了
    sunorg
        10
    sunorg  
    OP
       352 天前 via Android
    @sujin190 十分有意思的项目,谢谢。晚点我试一下
    howfree
        11
    howfree  
       352 天前
    有个叫 datart 的,不知道能不能满足你的需求
    sujin190
        12
    sujin190  
       352 天前   ❤️ 1
    @sunorg #10 顺便补充一点点,这个写的 SQL 主要方向还是数据导出和数据同步,所以 insert into 并不和数据库的 insert into 一样,其 select 的第一个字段表示主键唯一值,insert into 的时候可以指定选项按这个字段值存在则更新否则插入以保证可重入,毕竟定时脚本统计同步数据不能保证重入简直坑死人,默认则是追加,如果是按天统计结果的也推荐用日期加统计类型来构建一个唯一值更容易保证不出错
    Chalice
        13
    Chalice  
       352 天前   ❤️ 1
    最近测了很多 bi ,大部分对 MongoDB 的支持都很烂(比如 metabase 不支持 MongoDB 的 array ), 有的甚至完全不支持,最好先用 MongoDB Connector for BI 转换下。
    sunorg
        14
    sunorg  
    OP
       352 天前 via Android
    @sujin190 有点不合适,有些追加有些覆盖
    sunorg
        15
    sunorg  
    OP
       314 天前 via Android
    @haimianbihdata

    海豚调度,客户端太耗费系统资源了。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1027 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 20:29 · PVG 04:29 · LAX 12:29 · JFK 15:29
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.