V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
yangyifan
V2EX  ›  程序员

有一个数据分析的解决方案想请教各位一下

  •  
  •   yangyifan · 18 天前 · 1230 次点击

    我遇到一个自己没有尝试过业务场景,想寻求各位大佬看看有没有好的解决方案。 业务大概如下:

    • 收集客户端数据,一个很大的 json (可能超过 100+的字段)随着业务慢慢变化会导致字段和深度都是不固定的。想通过一下类似 SQL 的方案能实时的查询结果,并且有图表的功能,可以给运营方去分析。我现在的方案是使用阿里云的日志功能,能实现之前的需求,但是它的索引不能超过 100 个,所以现在如果要根据一个新增的字段去查询的话,就得删掉一个老的索引。
    • 这里还有一个需求是阿里云日志无法实现的,我想实现一个动态拦截或者叫做动态计算也行,比如 json 里有一个字段 a ,我如果他里面的值是不符合我设计的预期就告知给系统推送。

    因为个人 的技术能力有限,想使用成熟的一体化解决方案一并解决我所有的业务需求,想看看大家是否有好的见解。

    8 条回复    2024-02-12 12:00:37 +08:00
    kkk9
        1
    kkk9  
       17 天前
    建议留个联系方式给大神们,毕竟真正的解决方案是要花钱的😅而不是发贴靠评论区
    ixixi
        2
    ixixi  
       17 天前
    定义模型 和字段的 path 路径 比如
    xx_time 对应的 path 是 a[0].time.xx_time
    每次提取就是了
    sujin190
        3
    sujin190  
       17 天前 via Android
    https://github.com/snower/syncany-sql

    那分享下我的这个项目吧,可以直接写 sql 查询 json 文件,group by 和聚合函数也正常能用


    https://github.com/snower/syncany-server

    还有 server 实现,实现的是 mysql 服务端正常协议,然后你就可以直接用支持 mysql 的图表系统来正常接入了

    项目都有例子,也许可以帮到你
    Braisdom
        4
    Braisdom  
       17 天前
    可以试试 Agile Query, https://www.agiquery.com
    mantouboji
        5
    mantouboji  
       17 天前
    咨询和建议免费提供,想知道正确答案请另外掏钱。
    yangyifan
        6
    yangyifan  
    OP
       17 天前
    qq1340691923
        7
    qq1340691923  
       17 天前 via Android
    可以使用这个开源项目:
    https://gitee.com/cynthia520/xwl_bi
    kanecolin
        8
    kanecolin  
       16 天前
    1. 数据实时性要求是否高
    2. 索引实时性要求是否高
    3. 收集的数据结构(字段/数据类型/长度等)是否有连续性或下发配置这类的要求
    4. 是否有预算支持

    典型的数据收集+边缘解析场景,难度不大
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2564 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 15:44 · PVG 23:44 · LAX 07:44 · JFK 10:44
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.