这是一个创建于 588 天前的主题,其中的信息可能已经有所发展或是发生改变。
大文本文件处理:
-
利用 open 打开文件,一行一行读
-
利用 read(size)一块一块的读
-
利用 readlines 反复读
-
利用 fileinput 模块进行迭代遍历文件
查看代码 => 代码
1 条回复 • 2022-09-16 10:57:33 +08:00
|
|
1
sairoa 2022-09-16 10:57:33 +08:00
这么处理速度太慢,起一个进程专门读文件,一行一行的把内容传到队列里,然后视情况再起若干数据处理进程,处理完送到队列,再起一个进程进行结果输出。
写完才发现只是读文件啊。
|