推荐工具
› RoboMongo
推荐书目
› 50 Tips and Tricks for MongoDB Developers
Related Blogs
› Snail in a Turtleneck
这是一个创建于 4330 天前的主题，其中的信息可能已经有所发展或是发生改变。
我要把几个collection中的数据整合到一个collection中，来用一种更友好的数据结构，
用下面的python代码，db.index中有11W条数据，查出来组合再存入，估算了一下，在我的本子上完成要两个小时，各位大神，难道是我的方法不对？有办法优化吗
from pymongo import MongoClient
connection=MongoClient()
db=connection['wordnet']
def domerge():
allindex=db.index.find({})
i=0
for indexitem in allindex:
word={}
word['word']=indexitem['word']
word['concept']=[]
for conceptitem in indexitem['concepts']:
concept={}
concept['num']=conceptitem
concept['synonyms']=db.synonyms.find_one({"concept":conceptitem})['synonymses']
concept['gloss']=db.gloss.find_one({"concept":conceptitem})['gloss_en']
word['concept'].append(concept)
db.mergedata.insert(word)
i=i+1
print i
if __name__ == '__main__':
domerge()
用下面的python代码，db.index中有11W条数据，查出来组合再存入，估算了一下，在我的本子上完成要两个小时，各位大神，难道是我的方法不对？有办法优化吗
from pymongo import MongoClient
connection=MongoClient()
db=connection['wordnet']
def domerge():
allindex=db.index.find({})
i=0
for indexitem in allindex:
word={}
word['word']=indexitem['word']
word['concept']=[]
for conceptitem in indexitem['concepts']:
concept={}
concept['num']=conceptitem
concept['synonyms']=db.synonyms.find_one({"concept":conceptitem})['synonymses']
concept['gloss']=db.gloss.find_one({"concept":conceptitem})['gloss_en']
word['concept'].append(concept)
db.mergedata.insert(word)
i=i+1
print i
if __name__ == '__main__':
domerge()
 |
1
cj1324 2013-01-23 14:44:06 +08:00
额 乱来。
这样事情肯定是 mongodb 内置的mapreduce来做。 而且不应该是实时性的 |
 |
2
justfly OP @cj1324 我觉得这方法肯定上不得台面，我去看看，mongo的mapreduce文档去了，若有具体做法 还请不吝赐教哈 谢了
|
 |
3
lqs 2013-01-23 15:43:53 +08:00
如果 db.synonyms 和 db.gloss 不大，先查出来存个dict变量，这样就不用在每次for都来查这两个表。
另外mongodb的map-reduce只是一个用于公关宣传的功能。 |
|
4
justfly OP |
2
Select Language