V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
est
V2EX  ›  问与答

有没有类似 yahoo pipes 的分布式任务管理调度后台?

  •  
  •   est · 2017-04-05 12:04:24 +08:00 · 1873 次点击
    这是一个创建于 2789 天前的主题,其中的信息可能已经有所发展或是发生改变。
    比如手上有一大堆处理 json 处理 xml 处理 rss 的过滤器,每个过滤器的作用是输入一些原始数据得到一个新的数据

    现在我需要把上百个数据源和上千个过滤器,通过一个后台界面连接起来,形成一个 DAG 。这个连接过程希望是可以后台动态配置的,而不是需要改代码测试部署什么的。

    有没有这样的开源系统?

    看过 luigi airflow 感觉这个 DAG 都是代码指定的,并不能动态配置。
    4 条回复    2017-05-16 12:33:24 +08:00
    bbx
        1
    bbx  
       2017-04-05 12:36:11 +08:00 via iPhone
    没有, use case 太窄
    sammo
        2
    sammo  
       2017-04-05 18:30:01 +08:00
    /t/345991 类似
    mliilm
        3
    mliilm  
       2017-04-08 01:14:57 +08:00 via Android
    没实际用过,但是看介绍还不错

    https://jenkins.io/projects/blueocean/
    nickcheng
        4
    nickcheng  
       2017-05-16 12:33:24 +08:00
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   928 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 22:12 · PVG 06:12 · LAX 14:12 · JFK 17:12
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.