素材牛VIP会员
python mongo如何高效遍历
 超***媒  分类:Python  人气:1178  回帖:2  发布于6年前 收藏
for i in db.users.find():
    print i 

相当于每次循环请求一次mongo 效率奇低
能不能像find_one一样直接拿到数据放在内存中?

 标签:mongodbpython

讨论这个帖子(2)垃圾回帖将一律封号处理……

Lv3 码奴
陈***半 页面重构设计 6年前#1

对于大规模的遍历,我觉得可以考虑:

  • 使用EXHAUST类型的cursor,这样可以让mongo一批一批的返回查询结果,并且在client请求之前把数据stream过来。

  • 在find指定batch_size,默认值貌似是101个document或者size超过1M,可以设定更大的batch_size来指定route trip的数量,详见 https://docs.mongodb.org/manual/core/cursors/#cursor-batches

Lv7 码师
vv***cv Linux系统工程师 6年前#2

你要知道,并不是python要请求Mongo,而是mongo本质就是如此提交的,find返回的一个游标,mongo数据库本身就是通过这个游标去一次次拉取数据,任何语言里都是这样,这是mongo自身控制的,并不是语言来控制的。

 文明上网,理性发言!   😉 阿里云幸运券,戳我领取