V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
olddog5172
V2EX  ›  Python

请教一个关于 airflow 的问题

  •  
  •   olddog5172 · 2020-08-11 15:38:48 +08:00 · 2045 次点击
    这是一个创建于 1326 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我想问一下 我的 airflow 中的任务总是积压,也就是一直显示 running 中,重启之后 又好了,然后过一段时间又积压, 想请教一下 造成任务积压 有哪些原因呢? 任务觉得也不是太多 也就几十个 DAG

    5 条回复    2020-08-12 00:45:55 +08:00
    brickxu
        1
    brickxu  
       2020-08-11 18:30:26 +08:00
    worker 的并行度,以及 pool 的大小。UI 上可以看到这些信息,看看是堵哪里了。
    diggzhang
        2
    diggzhang  
       2020-08-11 18:38:35 +08:00
    一般遇到“积压”的 web ui 呈现任务状态为灰色。
    1. 检查是不是 sensor 太多了,抢占了资源
    2. 扩并行度,是个配置参数,把值调大
    3. 合理规划任务依赖,尽量不要发生跨 dag 依赖,可能发生乐观锁问题
    caoyouming
        3
    caoyouming  
       2020-08-11 19:18:56 +08:00
    看下卡住的任务的上游日志,如果是因为并行度的原因。在日志中都能找到对应的提示信息的。我之前也遇到过,后来调整了一些参数 OK 了
    vipppppp
        4
    vipppppp  
       2020-08-11 19:23:36 +08:00
    同一时间执行的数量超过 worker 数量?或者超过 dag 的数量?
    troywinter
        5
    troywinter  
       2020-08-12 00:45:55 +08:00
    cpu 够用就直接扩大并行度,另外你的 executor 确认是不是 local,不要用 sequential
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2863 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 11:32 · PVG 19:32 · LAX 04:32 · JFK 07:32
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.