根据年月分表,相关查询问题

1.例如一个表名y_capture_2018_01,数据表名是根据年月来动态生成的(y_capture_2018_02);
2.每个表里面都有自增主键id,还有个created_at(where条件)字段;
3.比如我现在要查询2017-09-16到2018-01-02里面的数据符合条件的数据(先要找到表,然后查询,还要分页,还要效率高),这里面可能包含查全表;
4.这个好像也不太适合用laravel模型写(表名是动态的),如果用模型写出来查询最好;
5.查出来的id可能会有重复数据该怎么解决,重命名吗?
6.我该怎么写sql语句和分页查询,我看过有人用union,那时间跨度大union会不会太慢;
7.表引擎是InnoDB的,merge不可行;
8.有什么好的思路可以指导一下我。

阅读 4.9k
6 个回答

首先你这个分表的设计就不对,如果怕数据量大,用mysql自带的分区就行了,mysql自带的分区是通过数据库底层分区,不会影响代码逻辑,修改代码的成本为0。不建议自己去创建一套建表逻辑。

8.有什么好的思路可以指导一下我。

不要用 MySQL 。换 PostgreSql ,自带表分区功能。

之前的项目遇到过类似的,你参考一下

因为你的表结构已经是这样了,就不提供分区的方法了
  • 自己用程序实现order by、limit、group by等操作,取出来结果后由程序完成相应操作。但是这个开发成本很高,相当于自己实现了数据库的一些功能。如果还有join什么的的操作那就更苦逼了。所以量力而为吧
  • 利用中间数据库(表)。可以将各个表的数据查出来之后统一再插入到一个临时表。可以考虑用sqlite去完成,当然mysql也是可以的,具体看你们情况。汇总过后就相当于在一张表操作了。这种方法的好处是特别容易操作,即使遇到不在同一台服务器的情况下也能解决。
  • 终极的办法就是改变架构了,或者改变一下分表的方式

1.根据你的描述,我理解的是你想实现一个根据你选择的日期,还有条件返回相应的数据。 2.解决方案:可以把所有数据都在一个表里边,然后根据时间字段 + 你添加的其他条件查询就可以实现。 加索引速度会快很多。(如果理解有误,请忽略回答)

新手上路,请多包涵

首先你的设计模型方面可能有点问题。像上面那那位仁兄说的可以使用分区表,如果你一定要库内分表的话,你的规则设计还是有点问题的。
什么你都自己写,会给自己挖下无数的坑。建议参考下开源的分库分表组件mycat 或者sharding-jdbc两个不同方式的分库分表组件

欢迎加Q群讨论交流Java技术:696883318

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题