0

现在业务中由于一些表越来越大,read的时候压力很大(write的需求比较小),所以在数据库端决定把一些数据量特别大的表切表, 但是在后端代码中有很多代码/query需要做join这些表,请问这样的情况下大家是怎么样解决的?

比如我们现在有 SampleTable 有大概1亿条数据,我们根据逻辑切成了大概16个不同的表:SampleTable 1,SampleTable2...SampleTable31,
以前代码中有query 类似于:

select * from  SampleTable join test_table

现在需要执行这样的query 多次然后把数据聚合起来做为返回结果吗?

select * from  SampleTable1 join test_table

有没有更好的方法或者library推荐?有没有什么beset practice或者sample code?

如果之后我们要多个表拆分到不同的database server上,是否在后端代码得加上不同db 的数据库连接?

数据库Sharding的基本思想和切分策略
这篇文章更多的是数据库切分的策略,是否有人能提供下实际的项目code sample?
Database sharding and JPA
what-to-do-instead-of-sql-joins-while-scaling-horizontally

stackoverflow 上的一些答案

2017-06-16 提问
5 个回答
0

朋友介绍 Spark 不错,支持 SQl 式的查询,1 亿条数据 0.5 秒左右返回结果

0

只针对目前我们项目中的情况: 在分表时根据hash算法落到特定表,然后取的时候先根据算法获取数据的分布位置,然后就是正常的select了

0

不建议连表查询
1.数据库资源比较宝贵,连表查询会占用大量的内存,导致数据库性能下降
2.不支持数据在多个数据库实例,分库情况无法处理,扩展性较差

通用做法是将连表查询,查分成多个单表查询,然后将结果在应用中汇总。
1.能够上述连表查询的问题
2.多次查询也可以在程序中对每一次查询的中间结果做处理,这是一个灵活性。
3.应用也可以随时扩展,更加灵活

如果是离线场景,建议使用MR(mapreduce)框架来处理,例如:hadoop等,相应的,需要将数据写入到hdfs上。

0

根据SampleTable的分表算法对test_table也进行拆分

撰写答案

推广链接