1
lianyue 343 天前
1. 每个文件处理时间
2. 每次处理 对 cpu 占用 3. 每天新增文件有多少 4. 文件是否是本地文件 才能得到具体方案 |
2
xinmans OP @lianyue 1 每个文件处理时间大概 10 都 60 分钟不等,看文件大小
2 ,对 cpu 占用有一定的开销,是 cpu 计算型应用 3 ,每天新增 10-50 个文件 4 ,是本地文件,在一个目录下 |
3
iorilu 342 天前
这种事情和 python 多并发没啥关系把
可能弄个 shell 脚本控制复制的文件到目标机器就行 比如有两台机器, 都运行同样程序, 无所谓什么多并发, 用最简单的单线程处理, 都定时扫描某个目录看是否有新文件 有个 shell 脚本或类似程序复杂将文件分开复制到那两台机器的目录不就行了 |
4
F7TsdQL45E0jmoiG 342 天前
不适合用容器
|
5
jones2000 342 天前
如果是 IO 瓶颈,开 docker 没什么用, 还是读同一个机器上的盘。IO 瓶颈你就加物理机, 每个物理机开处理程序。 新增的文件分发到不同的物理机上。 这样才能提高 IO 。
|
6
realJamespond 342 天前
单线程监测目录文件变化,再放到多线程队列消费
|
8
xinmans OP 谢谢各位,我用单线程和多线程来试试。
|
9
julyclyde 339 天前
既然要处理文件,为啥用容器呢?
|
13
numoone 322 天前
|