大数据量分表,如何合并查询

目前的业务是每天的数据量有30w条,数据表按日区分,如果想对这所有的数据的进行筛选,应该使用哪些思路呢?

例如如下的表结构:

idtypeother1other2
11other1other2
21other1other2
31other1other2
42other1other2
53other1other2
....................
29999982other1other2
29999991other1other2
30000004other1other2

每天都有大量的数据,分别按日期存储在数据表内
talbe_data_10_11
talbe_data_10_12
talbe_data_10_13

如果现在想对type进行筛选并查询这三张表的所有数据,有哪些高效的办法呢?

阅读 2.2k
2 个回答

我这里用mycat 实现分表

这个是自己分表的麻烦, 这个时候只能聚合数据了. 将搜索结果进行聚合. 或者让业务做出改动. 例如搜索的只能搜索固定某一天的. 让业务做出妥协. 让业务做出妥协是最便捷的. 还有一种就是将已有的数据全部整理一遍存储到第三方搜索引擎里面. 例如es.

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题