首页   注册   登录
 zky001 最近的时间轴更新
zky001

zky001

🏢  中国铁路广州局集团公司 / 助理工程师
V2EX 第 145504 号会员,加入于 2015-11-03 11:28:03 +08:00
pandas 处理数据慢,求好方法
Python  •  zky001  •  161 天前  •  最后回复来自 Baboonowen
30
爱上 gradle
Android  •  zky001  •  2015-12-11 15:37:30 PM  •  最后回复来自 jackshi007
1
as
 •  zky001  •  2015-12-08 16:02:42 PM  •  最后回复来自 zky001
1
zky001 最近回复了
147 天前
回复了 onice 创建的主题 Python Python 开发大家用的什么开发工具呀?
居然没有用我大 wing 的
147 天前
回复了 QFadmin 创建的主题 云计算 华为云一个隐藏的新手优惠, 1 核 2G 196/年
感觉还是我大阿里云还有亚马逊云最好用
162 天前
回复了 zky001 创建的主题 Python pandas 处理数据慢,求好方法
一列数据是类似 1234,2345,3122,3442 这样的一个字符串,我要把这列数据分割成四列数据,分完后再进另一个去查找,之前写的逻辑代码类似如下:
for u in range(0,products.shape[0]):
start=time.time()
cat1=products.catIds[u].split(',')[0]
#print(categories[categories['catId']==int(cat1)].index[0])
category1=categories['category'][categories[categories['catId']==int(cat1)].index[0]]
cat2=products.catIds[u].split(',')[1]
category2=categories['category'][categories[categories['catId']==int(cat2)].index[0]]
cat3=products.catIds[u].split(',')[-1]
category3=categories['category'][categories[categories['catId']==int(cat3)].index[0]]
df=df.append({"catIds":products.catIds[u],"cat1":category1,"cat2":category2,"cat3":category3})
end=time.time()
print(end-start)
ndf = pd.merge(products,df,how='left',on='catIds'),
162 天前
回复了 zky001 创建的主题 Python pandas 处理数据慢,求好方法
@dongxiao 这个是建立了一个新 dataframe,出来的是裁剪处理后的,可以直接 concat 到原 dataframe 上吗,还要到另一个几十万行的文件中把"1234, 2341, 3412, 3123"这些转换成对应中文
162 天前
回复了 zky001 创建的主题 Python pandas 处理数据慢,求好方法
@qianc1990 这个数据中列向量还有中文,中文中也有各种逗号,pd 直接读进来会把中文中的逗号也切片进来占用其他数据列
162 天前
回复了 zky001 创建的主题 Python pandas 处理数据慢,求好方法
@AX5N 实际遍历了 54 万次,但是对每一行都要进行一次裁剪拼加 dataframe 的操作,就很耗时
162 天前
回复了 zky001 创建的主题 Python pandas 处理数据慢,求好方法
@ipwx 主要是时间太长了,c++时间也没减下来
162 天前
回复了 zky001 创建的主题 Python pandas 处理数据慢,求好方法
想过把这些数据导入数据库处理,但是类似 1234,2345,3122,3442 的数据找不到一个好的对应的数据格式
2018-10-16 09:34:47 +08:00
回复了 kevinlqz 创建的主题 职场话题 想创业,做产品开发,有想一起做的小伙伴吗?
这个市场前景怎麽样。现在坐标海口,在一家创业公司做游戏平台开发
boss+1
关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1588 人在线   最高记录 5168   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.3 · 17ms · UTC 01:53 · PVG 09:53 · LAX 17:53 · JFK 20:53
♥ Do have faith in what you're doing.