python mongo如何高效遍历

Question

for i in db.users.find():
    print i 

相当于每次循环请求一次mongo 效率奇低
能不能像find_one一样直接拿到数据放在内存中?

Answer 1

对于大规模的遍历，我觉得可以考虑：

• 使用EXHAUST类型的cursor，这样可以让mongo一批一批的返回查询结果，并且在client请求之前把数据stream过来。

• 在find指定batch_size，默认值貌似是101个document或者size超过1M，可以设定更大的batch_size来指定route trip的数量，详见 https://docs.mongodb.org/manual/core/cursors/#cursor-batches

Answer 2

你要知道，并不是python要请求Mongo，而是mongo本质就是如此提交的，find返回的一个游标，mongo数据库本身就是通过这个游标去一次次拉取数据，任何语言里都是这样，这是mongo自身控制的，并不是语言来控制的。