V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
ispong
V2EX  ›  推广

一个超轻量级大数据处理平台

  •  
  •   ispong · 215 天前 · 699 次点击
    这是一个创建于 215 天前的主题,其中的信息可能已经有所发展或是发生改变。

    听说 v 站的哥哥姐姐们,个个都是人才,说话又好听. 推广一个全栈基于 spark 的轻量级大数据处理平台 主打快搭易用特点,欢迎大家积极提建议 一定虚心接受,打死不改 😉

    产品名: 至轻云 官网: https://zhiqingyun.isxcode.com/

    5 条回复    2024-08-12 15:28:35 +08:00
    wzwmeme
        1
    wzwmeme  
       117 天前
    东西看起来不错,但是也有很多不足(也有可能是我粗略的点没点到):
    1.建议把集群相关的调优参数按照框架分组罗列出来。
    2.资源中心、作业流、函数管理...这些最好都按照框架来做分组,或者允许创建文件夹。
    3.调度功能待完善,比较基础的补数功能没有;或者允许用户集成第三方框架。
    4.BI 这块感觉没啥太大必要拿进来... 专注处理就好。
    5.没有即席查询的地方。
    6.数据源不支持 excel ,csv 等方式直接上传。
    ispong
        2
    ispong  
    OP
       90 天前
    @wzwmeme 感谢感谢,上述提到的功能我们都在关注,在后期的迭代中会慢慢补充上来。
    ispong
        3
    ispong  
    OP
       90 天前
    @wzwmeme
    1. 集群相关的调优,后面会有高级配置选项,但现实中,其实很多客户连集群概念都不理解,不打算做的很复杂
    2. 这个已经在开发,预计 8 月底发版
    3. 我们支持 api 调用和 python 作业,可以勉强集成第三方框架,就是比较 low ,还未排期。
    4. 确实,市面上的 bi 产品都太强了,没必要做,我们也只是尝试一下,老板喜欢看
    5. 第三方的即席查询集成,预计 9 月会发版,但我们有个计算容器,基于 spark 的即席查询,速度也非常快
    6. 这个已经在开发,预计 8 月底发版
    ispong
        4
    ispong  
    OP
       90 天前
    也欢迎在 github 中提 issue
    https://github.com/isxcode/spark-yun
    wzwmeme
        5
    wzwmeme  
       89 天前
    @ispong 加油,期待用上你们的产品。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1587 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 17:07 · PVG 01:07 · LAX 09:07 · JFK 12:07
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.