海量数据如何进行批量查询

问题描述:
100亿数据,数据类型:k-v,批量查询key1/key2/.../keyN,返回结果value1/value2/.../valueN。
日pv: 千万量级, 读多写少。
如何选择存储和程序实现?

类似场景: ip地址批量查询

简单分析:
db选择mysql,百亿数据,需要分库分表,存储引擎选择innodb的话,无法实现批量查询;存储引擎选择myisam,可以利用merge引擎来实现批量查询,但是大量的访问在myisam引擎下会导致数据库同步的延迟

请教选用什么db存储?

阅读 3.3k
评论
    3 个回答

    redis似乎很合适,可以考虑一下

      • 214

      mongodb也不错,伸缩很好,读多写少.分片,同步都自带机制。很方便

        key-value类型的数据库推荐使用redis,可以做集群,设置主从,同时要实现数据缓存。。

          撰写回答

          登录后参与交流、获取后续更新提醒

          相似问题
          推荐文章