首页   注册   登录
blhlg = way to explore
blhlg 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐工具
推荐书目
Related Blogs
dtgxx
blhlg  ›  MongoDB

大佬们,麻烦进来看下 [使用 mongoimport 和 pymongo 插入遇到的问题]

  •  
  •   dtgxx · 6 天前 · 248 次点击

    同样的数据,使用 mongo 自带命令 mongoinsert 导入,速度很快,每秒 15000 条左右,60 亿数据占空间 300G 。 我手写的代码,使用 pymongo 的 insert_one 方法插入同样的数据,速度很慢,每秒 300 条左右,因为要根据数据插入不同的集合,所以只能使用 insert_one 。 而且插入后的数据,占空间很大,60 亿占 2T 空间。

    找了很多原因,不知道性能和空间占用为什么差这么大,都使用的默认 snappy 压缩。如果说性能是 insert_one 导致的,那一样的数据量一样的数据,占空间为什么差距这么大。。( PS.mongoinsert 导入一个集合,我的程序导入之后,有几千个集合。不知道这个有没有原因)

    希望大佬们给些建议,感谢感谢!!

    3 条回复    2020-07-01 10:05:48 +08:00
    lpts007
        1
    lpts007   6 天前   ❤️ 1
    英文网站去问问看,附上代码,数据结构。
    275761919
        2
    275761919   6 天前
    对数据分类用 insert_many 不行吗?
    dtgxx
        3
    dtgxx   5 天前
    @275761919 #2 有点难,不过多少会有点效果,效果不大。如果每次处理 1 万条数据,数据几乎分布在 3-4000 个集合当中。然后一次要大并发做 3-4000 次 insert_many
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2213 人在线   最高记录 5168   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 16:20 · PVG 00:20 · LAX 09:20 · JFK 12:20
    ♥ Do have faith in what you're doing.
    腾讯分分彩网址7039h.com 澳门百家乐_7039hh.com 官方直营 幸运28【官网7039h.com】 亚博_7039hh.com 官方直营提款秒到账 香港赛马会【7039hh.com】打开官网 188金宝博_7039hh.com 官方直营秒提款 bet365体育_7039hh.com 官方提款秒到账 伟德_7039hh.com 官方直营 真人百家乐_7039hh.com 官方直营 永利_7039hh.com 官方直营平台 AG亚游_7039hh.com 官方直营 申博娱乐网_7039hh.com 官网直营提款秒到 188金宝博_7039hh.com 官方直营秒提款