海量数据如何进行批量查询

问题描述:
100亿数据,数据类型:k-v,批量查询key1/key2/.../keyN,返回结果value1/value2/.../valueN。
日pv: 千万量级, 读多写少。
如何选择存储和程序实现?

类似场景: ip地址批量查询

简单分析:
db选择mysql,百亿数据,需要分库分表,存储引擎选择innodb的话,无法实现批量查询;存储引擎选择myisam,可以利用merge引擎来实现批量查询,但是大量的访问在myisam引擎下会导致数据库同步的延迟

请教选用什么db存储?

阅读 5.4k
3 个回答

redis似乎很合适,可以考虑一下

mongodb也不错,伸缩很好,读多写少.分片,同步都自带机制。很方便

key-value类型的数据库推荐使用redis,可以做集群,设置主从,同时要实现数据缓存。。

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进