从mysql数据库通过java程序导入单表1300w到mongodb,花了大概50分钟,前1000w条数据中每100w条大概要3分钟,之后的300多w条就差不多每100w条要5到6分钟,之后再从其他的mysql表里面导入数据就会越来越慢,请问可以从那些方面可以优化mongodb的写入操作?
这是我记录的花费时间
可以确定的是如果只在mysql里面遍历读取这1300w条数据,花费时间是10分钟左右。
从mysql数据库通过java程序导入单表1300w到mongodb,花了大概50分钟,前1000w条数据中每100w条大概要3分钟,之后的300多w条就差不多每100w条要5到6分钟,之后再从其他的mysql表里面导入数据就会越来越慢,请问可以从那些方面可以优化mongodb的写入操作?
这是我记录的花费时间
可以确定的是如果只在mysql里面遍历读取这1300w条数据,花费时间是10分钟左右。
检查一下MongoDb
操作时是否存在一些数据检查等随数据量增大而变慢的操作。既然是导入,数据可信度应该来说是很高的,可以剔除一下不必要的数据检查,索引也可以先不建,等导入之后再建立。
5 回答1.5k 阅读
2 回答2.2k 阅读
1 回答1.4k 阅读✓ 已解决
3 回答693 阅读✓ 已解决
1 回答1k 阅读
1 回答1.5k 阅读
1 回答679 阅读✓ 已解决
mysql两亿数据最多半小时,大哥你是单条写入还是整个文本导啊?