数据库定时查询大量数据

Question

问题描述

有一个场景，需要定时查询数据库库中所有会员的订单信息，假设量很大，每半个小时查询一次，此时单节点直接查询肯定搞不懂，如何在多节点的情况下实现。

暂时不考虑数据库设计，重点在于多节点之间的负载平衡以及单个节点内，半个小时内的负载也是平稳的，不会前15分钟压力过大，后面15分钟没有压力。

思路

目前有两种思路
1.多节点分批查询数据，比如10个节点查询500万数据，平均每个查询50万数据，这样可以达到每个节点的负载平衡，此外在每个节点查询时也是分批拉取，尽量在30分钟查询的数量比较平均，单个节点的负载比较平稳。

2.直接把订单数据都存在EL里，减少对数据库的压力。

疑问

一般像量比较大的电商项目都采取哪种方式来实现？比较稳固可靠？

Answer 1

这种一般来说数据都放入到es中，然后有后台离线计算项目处理