数据库定时查询大量数据

Half
  • 207

问题描述

有一个场景,需要定时查询数据库库中所有会员的订单信息,假设量很大,每半个小时查询一次,此时单节点直接查询肯定搞不懂,如何在多节点的情况下实现。

暂时不考虑数据库设计,重点在于多节点之间的负载平衡以及单个节点内,半个小时内的负载也是平稳的,不会前15分钟压力过大,后面15分钟没有压力。

思路

目前有两种思路
1.多节点分批查询数据,比如10个节点查询500万数据,平均每个查询50万数据,这样可以达到每个节点的负载平衡,此外在每个节点查询时也是分批拉取,尽量在30分钟查询的数量比较平均,单个节点的负载比较平稳。

2.直接把订单数据都存在EL里,减少对数据库的压力。

疑问

一般像量比较大的电商项目都采取哪种方式来实现?比较稳固可靠?

评论
阅读 274
1 个回答

这种一般来说数据都放入到es中,然后有后台离线计算项目处理

宣传栏