【问题描述】
sdbimprt工具数据导入性能如何,能否提供性能测试报告?
广东省农信运维人员比较关心以下情况:
如:3年的数据有1000w条记录,每条记录约100kb,导入的集合是多维分区表,范围切分以时间作为切分字段,一年一个集合,hash切分则以"_id"切分,将1000W的数据导入到该集合中需要多长的时间?

【问题回复】

  1. 导入工具在多个局点都有使用,目前(v3.0.1)还没有人反映过性能存在问题。
  2. 导入工具支持多线程导入。同时,也可以同时在多个机器上同时使用导入工

具一起工作。基本上,导入工具很容易就能将千兆网卡(128M/s)打满。

  1. 该用户关心的场景我们无法准确估计导入需要多长时间。如果能把千兆网网卡打满,估计时间为1000w*100KB/128M=781.25s。实际情况需要根据用户的设备等情况决定。

RaymondRMork
1 声望2 粉丝