V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  akmonde  ›  全部回复第 7 页 / 共 9 页
回复总数  168
1  2  3  4  5  6  7  8  9  
2017-08-03 12:56:23 +08:00
回复了 akmonde 创建的主题 Python celery 每个 worker 在执行任务时,如何配置一定数量的 task?
@Stony 非常感谢您,很详细,这帖子我差点都忘了。。另外,我想请教下您,如果想批量 kill 一批机器的 task,应该咋弄,我通常是直接 grep celery 的所有进程,然后 kill -9。
但是这样就有个毛病,我批量 kill 集群中的 task 时会出现问题,只有一台一台机器去手动操作。
另外,您说如果 celery 卡住的时候,重启所有 pool 有用么?话说我以前配置了 pool 的安全选项,还是不能在 flower 直接重启。
2017-07-20 21:52:27 +08:00
回复了 akmonde 创建的主题 Python celery 处理结果的入库问题
@xdays 您的意思还是将 mysql 处理这块作为节点吧?
@whnzy leader 不是做开发的。
@carilove 不会啊,为了避免 broker 量过载,我那边计划的是跑完一批任务,就清空一次,不然肯定占用太多了。
@wizardoz 大佬说的蛮对的,个人觉得即使做缓冲也无法解决安全问题,确实需要第三方进行加固。
2017-07-20 16:06:38 +08:00
回复了 akmonde 创建的主题 Python celery 处理结果的入库问题
@NoBeeBee @bestkayle leader 的意思是,既然是分布式的,那每个节点我都需要配置 mysql 连接信息,既然部署到公网,无论是传输途中,还是节点服务器被黑,都是有可能泄露主控端的数据的。
@wizardoz 大佬,求教如何解决,随便甩给小弟几个方案就成^_^。
@juntao @iwishing 小弟看看怎么方便实施,先感谢下~
2017-07-20 16:01:15 +08:00
回复了 akmonde 创建的主题 Python celery 处理结果的入库问题
@cszeus @CryMeatel @iConnect 项目是小,但类似于分布式采集数据类的东西,每个任务都会有写入数据的操作,所以一旦节点多了以后,不做写入缓冲,确实可能存在数据写入过量。
2017-07-20 07:49:01 +08:00
回复了 akmonde 创建的主题 Python celery 处理结果的入库问题
这里怕大家没看懂,故此补充下,我这边是跟大家求方案细节,我才好去做计划。
如果有大佬做过或者有过完善点的想法,劳烦多敲几个字指点下小弟,感谢感谢!
2017-07-19 07:56:07 +08:00
回复了 lauix 创建的主题 Python celery 有失败任务,怎么回事?
兄弟你这不贴错误日志和报错,别人怎么帮你。
2017-06-30 16:37:21 +08:00
回复了 UcpaasCOM 创建的主题 推广 [福利贴,手快有] 程序猿变落汤鸡,只差一场暴雨的突袭
我在想有好事儿没。。
2017-06-12 10:16:21 +08:00
回复了 akmonde 创建的主题 服务器 最近要搬家,旧机箱待处理,求建议
@loveminds 我想了想,处理个机箱还得买个猫,贼亏,虽然当个铲屎官也不错。。
2017-06-08 15:52:26 +08:00
回复了 akmonde 创建的主题 服务器 最近要搬家,旧机箱待处理,求建议
@814084764 我的天。。有烤箱,不用机箱改造。。
2017-06-08 07:26:54 +08:00
回复了 akmonde 创建的主题 服务器 最近要搬家,旧机箱待处理,求建议
@nightwind 我这边系统都没提醒回复。。哪位还有其他答案么。。
2017-06-07 07:38:10 +08:00
回复了 pig1983 创建的主题 问与答 求推荐一款办公用鼠标。
跟帖求一款中低等价位游戏鼠标,手不大,中度 moba 游戏爱好者。
2017-05-22 15:22:42 +08:00
回复了 akmonde 创建的主题 Python celery 检查返回状态( result.ready)时,会出现死循环
@r0okit @pkking
两位大牛,不好意思再次打扰一下。
我这边看了下,我前端 flower 通过参数传过来,进行程序启动的那个函数,肯定是需要 delay 的,调用方式就下面两种:
http://flower-docs-cn.readthedocs.io/zh/latest/api.html#post-api-task-async-apply
http://flower-docs-cn.readthedocs.io/zh/latest/api.html#post-api-task-send-task
那么问题来了,我看了下案例:
http://celery.readthedocs.io/en/latest/userguide/tasks.html#avoid-launching-synchronous-subtasks
这里调用 chain 是不能使用 delay 的函数的,好像是需要在一个普通函数或者在程序主体里去调用 chain 的。
那么在程序入口需要在 delay 的函数里的情况下,我应该如何去使用 chain 呢?这好像是个悖论,没想明白应该怎么弄。
2017-05-21 10:36:53 +08:00
回复了 Andor_Chen 创建的主题 Python 送几本《流畅的 Python 》
卧草,现在盖楼还来得及么
2017-05-20 08:10:01 +08:00
回复了 akmonde 创建的主题 Python celery 检查返回状态( result.ready)时,会出现死循环
@r0okit @pkking 非常感谢大牛们的指导,确实黑名单难以过滤完全特殊字符。另外我似乎查出问题所在了,确实是 result.ready()是放在 delay()任务中执行,那里就会阻塞运行不下去了。
我这边前端采用了 flower 的接口控制任务的启动,话说 flower 有参数可以不调用 delay 么?
另外,我试了下如果不调用 delay 的话,不使用 chain 也是可以用的。
是否 flower 前端传过来的参数是必须调用 delay,然后必须用 chain 或者 signature 之类的才能破?
2017-05-19 13:38:38 +08:00
回复了 akmonde 创建的主题 Python celery 检查返回状态( result.ready)时,会出现死循环
@r0okit eval 之前已经对能执行恶意命令的特殊字符进行了过滤,也不涉及库查询,所以应该不会有安全方面的问题。
我去研究下 chain 和怎么用字典名字映射函数,先谢谢您。
这问题也是够折腾的,这两天在一步步替换正常的配置和代码进行对比,真是头疼,问题出现的有点隐蔽。
2017-05-18 20:34:34 +08:00
回复了 akmonde 创建的主题 Python celery 检查返回状态( result.ready)时,会出现死循环
@pkking 感谢回复,不过小弟学识有限,没有理解您的意思,您能稍微举个例子么?
2017-05-18 20:33:11 +08:00
回复了 akmonde 创建的主题 Python celery 检查返回状态( result.ready)时,会出现死循环
@r0okit eval 是为了把前端传过来的字符串,作为函数名执行哈,咱们可以把它这样等价:
eval(item).delay(x,y) == add.delay(x,y)
另外,确实这段代码是放在一个任务函数里去调用的,用不用 delay 都出现了这种情况。
2017-05-18 12:33:37 +08:00
回复了 akmonde 创建的主题 Python celery 检查返回状态( result.ready)时,会出现死循环
@zsz 也是 delay 执行的,8 楼给出了那部分的代码,兄弟麻烦给看看。
2017-05-18 07:55:44 +08:00
回复了 akmonde 创建的主题 Python celery 检查返回状态( result.ready)时,会出现死循环
@r0okit
我那边单独测了上面提到的 demo 代码,是可用的。
但我这边是同时运行了多个任务,其中夹杂了这个优先级高的任务,就会出问题了,代码如下:
if item in match_items:
result = eval(item).delay(x,y)
result_list.append(eval_result)
else:
eval(item).delay(x,y)
for result_item in result_list:
while not result_item.ready():
time.sleep(2)
然后那个任务会一直在 PENDING,或者说是 RECEIVED 状态,并没有启动,一直 sleep。
2017-05-17 21:04:21 +08:00
回复了 akmonde 创建的主题 Python celery 检查返回状态( result.ready)时,会出现死循环
@zsz 程序一直是正常运行的,只不过最近加了检查返回状态才这样,因此应该不是 celery server 的锅。
1  2  3  4  5  6  7  8  9  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   752 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 24ms · UTC 21:03 · PVG 05:03 · LAX 14:03 · JFK 17:03
Developed with CodeLauncher
♥ Do have faith in what you're doing.