推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
求解 pandas 的 DataFrame 的数据合并问题。效率太慢啦~
kingmo888 · 2016-10-12 10:53:10 +08:00 · 13833 次点击这是一个创建于 2967 天前的主题，其中的信息可能已经有所发展或是发生改变。
如题，
存在 2900+的 stock 文件，每个文件格式相同，如下：
------------------------
date | value1
date | value2
date | value3
date | value4
------------------------
我想将所有文件合并到一起，格式如下：
------------------------------------------------
| code1 | code2 | code3
date1 | value1 | value2 | value3
............
daten | valuen | valuen | valuen
------------------------------------------------
目前的做法是将数据存到 list （总大小 2900+），
将这个列表拆分成 N 个，先分别 pd.concat ，得到 N 个 df 。
最后将这 N 个 df 合并为一个大的 df 。
但是效率是在太慢了，而且特别占用内存。文件的大小也就 20M ，但合并时内存能上好几个 G 。
求帮助。
谢谢。
存在 2900+的 stock 文件，每个文件格式相同，如下：
------------------------
date | value1
date | value2
date | value3
date | value4
------------------------
我想将所有文件合并到一起，格式如下：
------------------------------------------------
| code1 | code2 | code3
date1 | value1 | value2 | value3
............
daten | valuen | valuen | valuen
------------------------------------------------
目前的做法是将数据存到 list （总大小 2900+），
将这个列表拆分成 N 个，先分别 pd.concat ，得到 N 个 df 。
最后将这 N 个 df 合并为一个大的 df 。
但是效率是在太慢了，而且特别占用内存。文件的大小也就 20M ，但合并时内存能上好几个 G 。
求帮助。
谢谢。
 |
1
wh0syourda66y 2016-10-12 11:14:20 +08:00
docker pull 个 spark 镜像下来，用 pyspark 来计算。速度杠杠滴
|
 |
2
menc 2016-10-12 11:16:28 +08:00
用原生 dict 来做
|
 |
3
taxidriver 2016-10-12 11:23:48 +08:00
又是一个用 Python 做量化的，看到 2900+就知道了
建议合并后保存成 HDF5 文件，下次需要直接加载到内存，能省很多功夫 |
 |
4
imn1 2016-10-12 11:30:22 +08:00
1.先用 profile 查一下哪一步慢， list 转 df 还是合并 df
2.concat 或者 append 要避免空 df ，就是直接 concat 到一个有数据的 df ，如果合并到一个空 df 会引起严重性能问题 3.多步骤处理大量数据，要及时 del 无用数据 |
 |
5
kingmo888 OP |
|
6
kingmo888 OP @wh0syourda66y pyspark ？？
|
 |
10
qleroooo 2016-10-12 11:57:58 +08:00
为什么要存到 list
|
 |
12
zjuhwc 2016-10-12 13:14:06 +08:00
感觉是解析到 list 和 list 转 df 这些步骤话的时间长吧，刚试了下生成 3000 个 100*2 的 df 用 concat 合并， 230ms 就够了。
In [1]: import pandas as pd In [2]: import numpy as np In [3]: l = [pd.DataFrame(np.random.randn(100, 2)) for _ in xrange(3000)] In [4]: timeit pd.concat(l, axis=1) 1 loop, best of 3: 230 ms per loop |
|
15
taxidriver 2016-10-12 15:41:11 +08:00
@kingmo888 keys 的索引也是 O(1)
|
 |
16
laibluejay 2016-10-13 16:14:05 +08:00
大 df 和多个 df 的合并和输出，不如直接用读写文件的方式，快得很......
df merge 确实效率不高 |
Select Language