04-SpringBoot工程下如何实现HikariCP连接池的整合？（补充笔记）

头像
fubin
    阅读 9 分钟

    池化思想分析

    池化思想是我们项目开发过程中的一种非常重要的思想，如整数池，字符串池，对象池、连接池、线程池等都是池化思想的一种应用，都是通过复用对象，以减少因创建和释放对象所带来的资源消耗，进而来提升系统性能。例如Integer对象的内部池应用，代码如下
    image
    int a=200,b=200;
    System.out.println(a==b);//true
    比较java基本类型：
    比较基本类型只能用"=="，不能用"equals"，这里的"=="比较的是两个基本类型的值；
    比较包装类：
    这边"=="比较的是对象的内存地址，new了两个不同的对象所存放的地址是不一样的，

    基本数据类型和引用类型的区别主要在于基本数据类型是分配在栈上，而引用类型是分配在堆上的

    数据库连接池简介

    背景分析

    目开发过程中应用程序与数据库交互时，“获得连接”或“释放连接”是非常消耗系统资源的两个过程，频繁地进行数据库连接的建立和关闭会极大影响系统的性能，若多线程并发量很大，这样耗时的数据库连接就可能让系统变得卡顿。因为TCP连接的创建开支十分昂贵，并且数据库所能承载的TCP并发连接数也有限制，针对这种场景，数据库连接池应运而生。如下图所示：
    image
    为什么TCP连接的创建开支十分昂贵？
    建立TCP需要三次握手才能建立，而断开连接则需要四次挥手。
    image
    TCP的三次握手
    首先Client端发送连接请求报文，Server段接受连接后回复ACK报文，并为这次连接分配资源。Client端接收到ACK报文后也向Server段发生ACK报文，并分配资源，这样TCP连接就建立了。
    image
    TCP断开连接的四次挥手
    image
    【注意】中断连接端可以是Client端，也可以是Server端。
    假设Client端发起中断连接请求，也就是发送FIN报文。Server端接到FIN报文后，意思是说"我Client端没有数据要发给你了"，但是如果你还有数据没有发送完成，则不必急着关闭Socket，可以继续发送数据。所以你先发送ACK，"告诉Client端，你的请求我收到了，但是我还没准备好，请继续你等我的消息"。这个时候Client端就进入FIN_WAIT状态，继续等待Server端的FIN报文。当Server端确定数据已发送完成，则向Client端发送FIN报文，"告诉Client端，好了，我这边数据发完了，准备好关闭连接了"。Client端收到FIN报文后，"就知道可以关闭连接了，但是他还是不相信网络，怕Server端不知道要关闭，所以发送ACK后进入TIME_WAIT状态，如果Server端没有收到ACK则可以重传。“，Server端收到ACK后，"就知道可以断开连接了"。Client端等待了2MSL后依然没有收到回复，则证明Server端已正常关闭，那好，我Client端也可以关闭连接了。Ok，TCP连接就这样关闭了！
    【注意】 在TIME_WAIT状态中，如果TCP client端最后一次发送的ACK丢失了，它将重新发送。TIME_WAIT状态中所需要的时间是依赖于实现方法的。典型的值为30秒、1分钟和2分钟。等待之后连接正式关闭，并且所有的资源(包括端口号)都被释放。
    【问题1】为什么连接的时候是三次握手，关闭的时候却是四次握手？**
    答：因为当Server端收到Client端的SYN连接请求报文后，可以直接发送SYN+ACK报文。其中ACK报文是用来应答的，SYN报文是用来同步的。但是关闭连接时，当Server端收到FIN报文时，很可能并不会立即关闭SOCKET，所以只能先回复一个ACK报文，告诉Client端，"你发的FIN报文我收到了"。只有等到我Server端所有的报文都发送完了，我才能发送FIN报文，因此不能一起发送。故需要四步握手。
    【问题2】为什么TIME_WAIT状态需要经过2MSL(最大报文段生存时间)才能返回到CLOSE状态？**

    答：虽然按道理，四个报文都发送完毕，我们可以直接进入CLOSE状态了，但是我们必须假象网络是不可靠的，有可以最后一个ACK丢失。所以TIME_WAIT状态就是用来重发可能丢失的ACK报文。

    连接池原理分析

    在系统初始化的时候，在内存中开辟一片空间，将一定数量的数据库连接作为对象存储在对象池里，并对外提供数据库连接的获取和归还方法。用户访问数据库时，并不是建立一个新的连接，而是从数据库连接池中取出一个已有的空闲连接对象；使用完毕归还后的连接也不会马上关闭，而是由数据库连接池统一管理回收，为下一次借用做好准备。如果由于高并发请求导致数据库连接池中的连接被借用完毕，其他线程就会等待，直到有连接被归还。整个过程中，连接并不会关闭，而是源源不断地循环使用，有借有还。数据库连接池还可以通过设置其参数来控制连接池中的初始连接数、连接的上下限数，以及每个连接的最大使用次数、最大空闲时间等，也可以通过其自身的管理机制来监视数据库连接的数量、使用情况等。

    Java中的连接池

    Java官方，为了在应用程序中更好的应用连接池技术，定义了一套数据源规范，例如javax.sql.DataSource接口，基于这个接口，很多团队或个人创建了不同的连接池对象。然后我们的应用程序中通过耦合与DataSource接口，便可以方便的切换不同厂商的连接池。Java项目中通过连接池获取连接的一个基本过程，如下图所示：
    image
    在上图中，用户通过DataSource对象的getConnection()方法，获取一个连接。假如池中有连接，则直接将连接返回给用户。假如池中没有连接，则会调用Dirver（驱动，由数据库厂商进行实现）对象的connect方法从数据库获取，拿到连接以后，可以将连接在池中放一份，然后将连接返回给调用方。连接需求方再次需要连接时，可以从池中获取，用完以后再还给池对象。
    数据库连接池在Java数据库相关中间件产品群中，应该算是底层最基础的一类产品，作为企业应用开发必不可少的组件，无数天才们为我们贡献了一个又一个的优秀产品，它们有的随时代发展，功成身退，有的则还在不断迭代，老而弥坚，更有新生代产品，或性能无敌，或功能全面。目前市场上常见的连接池有DBCP、C3P0，DRUID,HikariCP等

    SpringBoot工程下HikariCP应用

    数据初始化

    打开mysql控制台,然后按如下步骤执行goods.sql文件。
    第一步:登录mysql。
    image
    第二步:设置控制台编码方式。
    image
    第三步:执行goods.sql文件（切记不要打开文件复制到mysql客户端运行）。
    这里我执行的是已经存在的数据库
    image

    项目中添加相关依赖

    打开pom.xml文件中会自动添加如下两个依赖配置：
    1) mysql数据库驱动依赖。
    image
    2) spring对象jdbc支持（此时会默认帮我们下载HiKariCP连接池）。
    image

    配置HikariCP连接池

    打开application.properties配置文件，添加如下内容（必写）。
    image
    hikariCP 其它额外配置(可选)，代码如下（具体配置不清晰的可自行百度）：

    spring.datasource.type=com.zaxxer.hikari.HikariDataSource
spring.datasource.hikari.minimum-idle=5
spring.datasource.hikari.maximum-pool-size=15
spring.datasource.hikari.auto-commit=true
spring.datasource.hikari.idle-timeout=30000
spring.datasource.hikari.pool-name=DatebookHikariCP
spring.datasource.hikari.max-lifetime=1800000
spring.datasource.hikari.connection-timeout=30000
spring.datasource.hikari.connection-test-query=SELECT 1

    HikariCP 连接池测试

    单元测试API设计及应用分析,如图所示:
    image
    在项目里面增加spring-boot-starter-test依赖，这样测试DataSourceTests
    就可以使用@SpringBootTest注解和@Test注解，通过注解@Autowired获得DataSource数据源接口的实现类对象，在这里HikariDataSource实现了DataSource通过方法Connection getConnection()可以从连接池Hikaripool中获取一个连接。

    项目一旦依赖了spring-boot-starter-test，下面这些类库将被一同依赖进去：
    JUnit：java测试事实上的标准，默认依赖版本是4.12（JUnit5和JUnit4差别比较大，集成方式有不同）。
    Spring Test & Spring Boot Test：Spring的测试支持。
    AssertJ：提供了流式的断言方式。
    Hamcrest：提供了丰富的matcher。
    Mockito：mock框架，可以按类型创建mock对象，可以根据方法参数指定特定的响应，也支持对于mock调用过程的断言。
    JSONassert：为JSON提供了断言功能。
    JsonPath：为JSON提供了XPATH功能。

    package com.cy.commom.datasource;
import org.junit.jupiter.api.Test;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import javax.sql.DataSource;
import java.sql.SQLException;
@SpringBootTest
public class DataSourceTests {
    @Autowired
 private DataSource dataSource;
 @Test
 public void testConnection() throws Exception {
        System.out.println(dataSource.getConnection());
 }
}

    在当前测试类中我们需要：

    • 掌握单元测试类、测试方法编写规范。
    • 理解DataSource规范及规范的实现。
    • 理解Spring框架依赖注入机制。
    • 在测试类中DataSource接口指向的对象是谁？HikariDataSource 你如何知道的？通过断点或者日志
    System.out.println(dataSource.getClass().getName());//com.zaxxer.hikari.HikariDataSource
    • 在当前测试类中DataSource接口的实现类对象由谁创建和管理？
    • 基于DataSource接口获取连接的基本过程是怎样的？
    • DataSourse由谁定义？java官方（甲骨文）
    • 我们为什么要耦合于DataSource?

    类与类之间存在依赖（耦合）时，尽量依赖于（耦合于）抽象规范，然后基于规范的实现获取连接。

    测试BUG分析

    • 位置错误，当出现如图-情况时，先检测单元测试类是否写到了src/test/java目录。如图所示：

    image

    • 类引入错误，DataSource为javax.sql包中的类型，如图所示：

    image

    • 连接错误：数据库连接不上，如图所示：

    image

    基于HikariCP实现JDBC操作(练习)

    业务分析

    基于HikariCP（HikariCP是由日本程序员开源的一个数据库连接池组件），借助JDBC技术访问商品库中的数据

    image

    业务时序图分析

    基于业务需求,进行商品查询过程的的时序图设计,如图所示:
    image

    业务代码设计及实现

    第一步：定义GoodsDao接口，例如：

    package com.cy.pj.goods.dao;
import java.util.List;
import java.util.Map;
/**
 * 商品模块数据访问层接口
 */
public interface GoodsDao {
    /**
 * 查询所有商品信息,将每一行记录存储到一个map对象,然后将多个存储到list集合.
 */ List<Map<String,Object>> findGoods();
}

    第二步：创建GoodsDao接口实现类，代码如下：

    package com.cy.pj.goods.dao;
/**
 * 此对象为一个商品数据层访问对象,现在要求在此类中定义一个方法,这个方法基于JDBC从从数据库获取商品信息,并将其封装到map集合,要求一个行记录一个map对象(key为表中字段名,值为字段名对应的值),多个map存储到list集合. @Repository此注解通常用于描述数据层实现类对象,本质上就是一个特殊的@Component, 都是要交给spring框架管理的一个Bean对象
 */
@Repository
public class DefaultGoodsDao implements  GoodsDao{
       @Autowired
       private DataSource dataSource;//hikariCP
       /**查询商品信息,一行记录映射为内存中的一个map对象*/
       public List<Map<String,Object>> findGoods(){
           Connection conn=null;//java.sql.*
           Statement stmt=null;
           ResultSet rs=null;
           String sql="select * from tb_goods";
           //1.获取连接(从连接池获取)
           try {
               conn=dataSource.getConnection();
               //2.创建statement对象
               stmt=conn.createStatement();
               //3.发送sql
               rs=stmt.executeQuery(sql);
               //4.处理结果
               List<Map<String,Object>> list=new ArrayList<>();
               while(rs.next()){//循环一次取一行,一行记录映射为一个map对象
                  list.add( rowMap(rs));//将存储了一行记录的map对象再存储到list集合
               }
               return list;
           }catch (SQLException e){
               e.printStackTrace();
               throw new RuntimeException(e);//转换为非检查异常(编译时不检测的异常)
           }finally{
               //5. 释放资源
               close(rs,stmt,conn);
           }
       }

    Statement 是 Java 执行数据库操作的一个重要接口，用于在已经建立数据库连接的基础上，向数据库发送要执行的SQL语句。Statement对象，用于执行不带参数的简单SQL语句。
    ResultSet，是 Java 执行数据库操作的一个重要接口，是数据库结果集的数据表，通常通过执行查询数据库的语句生成。

    定义行映射方法

           private Map<String,Object> rowMap(ResultSet rs)throws SQLException{
           Map<String,Object> rowMap=new HashMap<>();
           //方法1映射
           //rowMap.put("id",rs.getInt("id"));
           //rowMap.put("name",rs.getString("name"));
           //rowMap.put("remark",rs.getString("remark"));
           //rowMap.put("createdTime",rs.getTimestamp("createdTime"));
           //方法2映射
           ResultSetMetaData rsmd=rs.getMetaData();//获取元数据(包括表中的字段名)
           int columnCount=rsmd.getColumnCount();//获取列的数量
           for(int i=0;i<columnCount;i++){
               rowMap.put(rsmd.getColumnLabel(i+1),rs.getObject(rsmd.getColumnLabel(i+1)));
               //getColumnLabel(i+1);获取表中字段名或字段名对应的别名
           }
           return rowMap;
       }

    定义释放资源的方法

           private void close(ResultSet rs,Statement stmt,Connection conn){
           if(rs!=null)try{rs.close();}catch(Exception e){e.printStackTrace();}
           if(stmt!=null)try{stmt.close();}catch(Exception e){e.printStackTrace();}
           //这里的连接是返回到了池中
           if(conn!=null)try{conn.close();}catch(Exception e){e.printStackTrace();}
       }
}

    测试代码的编写及运行

    定义单元测试类,并对其查询过程进行单元测试,例如:

    package com.cy.pj.goods.dao;


@SpringBootTest
public class GoodsDaoTests {

      @Autowired
      private GoodsDao goodsDao;

      @Test
      void testFindGoods(){
          List<Map<String,Object>> list= goodsDao.findGoods();
          for(Map<String,Object> map:list){
              System.out.println(map);
          }
      }

}

    总结(Summary)

    总之，数据库连接池的为我们的项目开发及运行带来了很多优点，具体如下：
    1）资源重用更佳。由于数据库连接得到复用，减少了大量创建和关闭连接带来的开销，也大大减少了内存碎片和数据库临时进程、线程的数量，使得整体系统的运行更加平稳。
    2）系统调优更简便。。使用了数据库连接池以后，由于资源重用，大大减少了频繁关闭连接的开销，大大降低了TIME_WAIT的出现频率。
    3）系统响应更快。数据库连接池在应用初始化的过程中一般都会提前准备好一些数据库连接，业务请求可以直接使用已经创建的连接，而不需要等待创建连接的开销。初始化数据库连接配合资源重用，使得数据库连接池可以大大缩短系统整体响应时间。
    4）连接管理更灵活。数据库连接池作为一款中间件，用户可以自行配置连接的最小数量、最大数量、最大空闲时间、获取连接超时间、心跳检测等。另外，用户也可以结合新的技术趋势，增加数据库连接池的动态配置、监控、故障演习等一系列实用的功能。

    后端springspringboot
    本文系转载，阅读原文
    https://segmentfault.com/a/1190000023822917
    fubin
    10 声望0 粉丝
    下一篇 »
    07-SpringBoot+MyBatis+Spring 技术整合实现商品模块的CRUD操作(补充笔记)

    引用和评论

    推荐阅读
    头像
    Shiro框架

    fubin阅读 1.7k

    头像
    构建自定义Feign客户端demo

    zZ_jie赞 5阅读 799

    头像
    Activiti7实战笔记

    Corwien赞 4阅读 11.1k

    头像
    Spring和idea为什么不推荐使用@Autowired注入

    kexb赞 7阅读 1.4k评论 1

    头像
    状态码 406， Not Acceptable, (Spring Boot)

    zZ_jie赞 4阅读 576

    头像
    Spring 实现 3 种异步流式接口，干掉接口超时烦恼

    程序员小富赞 4阅读 1.2k

    头像
    高质量代码的原则

    寒青赞 4阅读 5.2k

    0 条评论
    得票最新