项目采用了 celery 进行异步操作,但是 celery 运行很多任务后自动停止运行假死,目前我采取的是手动重新启动 celery,有的大神说这是 celery 的 bug,怎么解决? backend 用的是 redis.
1
NaVient 2019-04-22 15:31:13 +08:00
定时重启,这个问题很普遍
|
2
gnozix 2019-04-22 15:33:24 +08:00
你这个`自动停止运行假死` 是个什么哦,我遇到过一个定时任务延迟或长时间执行不了的问题,是队列里的任务阻塞导致的。不知道你的是什么情况。
|
3
NaVient 2019-04-22 15:40:13 +08:00
@NaVient #1 Celery 还提供 CELERYD_FORCE_EXECV = True 这个设置来防止假死,但是然并卵,只是减少次数,但是还是会假死
|
4
rogwan 2019-04-22 15:56:39 +08:00 via Android
你的 celery 开机是怎么启动的?
|
5
jesnridy 2019-04-22 17:53:54 +08:00
服务器内存使用率是怎样的。看下有没有配置 CELERYD_MAX_TASKS_PER_CHILD ( worker 最多执行多少个任务,超过就销毁),官方默认是不限制的
|
6
hanssx 2019-04-25 13:20:30 +08:00
celery 生产环境用 rmq 好些吧,CELERYD_MAX_TASKS_PER_CHILD 这个参数按照楼上的设置个值试试,或者 celery 版本换成 3.6 的最后一个版本?楼主用的 4.2 ?
仅供参考 |
7
ziwen1942 2019-04-29 18:14:20 +08:00
# celery 的启动工作数量设置
CELERY_WORKER_CONCURRENCY = 5 # celery 的 worker 执行多少个任务后进行重启操作 CELERY_WORKER_MAX_TASKS_PER_CHILD = 200 这个在配置文件里写清楚,不然塞内存 核心逻辑:排队等死 |