SpringBoot与消息

一、概述

1- 简介

1-大多数应用中，可通过消息服务中间件来提升系统异步通信、扩展解耦能力
2-消息服务中有两个重要概念：

（1）消息代理（message broker）

（2）目的地（destination）

当消息发送者发送消息以后，将由消息代理接管，消息代理保证消息传递到指定目的地。

3.消息队列主要有两种形式的目的地

主题（topic）：发布（publish）/订阅（subscribe）消息通信

2-主要功能介绍

2.1-实现业务的异步处理

Image 2020-03-25-10-06-29-001.png

在不使用消息队列服务器的时候，用户的请求数据直接写入数据库，在高并发的情况下数据库压力剧增，使得响应速度变慢。但是在使用消息队列之后，用户的请求数据发送给消息队列之后立即返回，再由消息队列的消费者进程从消息队列中获取数据，异步写入数据库。由于消息队列服务器处理速度快于数据库（消息队列也比数据库有更好的伸缩性），因此响应速度得到大幅改善。

2.2-应用解耦和流量削峰

Image 2020-03-25-10-29-03-001.png

通过以上分析我们可以得出消息队列具有很好的削峰作用的功能——即通过异步处理，将短时间高并发产生的事务消息存储在消息队列中，从而削平高峰期的并发事务。 举例：在电子商务一些秒杀、促销活动中，合理使用消息队列可以有效抵御促销活动刚开始大量订单涌入对系统的冲击。

2.3 总结：为什么要用消息队列：

使用消息队列主要有两点好处：

1.通过异步处理提高系统性能（削峰、减少响应所需时间）；

消息队列具有很好的削峰作用的功能——即通过异步处理，将短时间高并发产生的事务消息存储在消息队列中，从而削平高峰期的并发事务。
用户请求数据写入消息队列之后就立即返回给用户了，但是请求数据在后续的业务校验、写数据库等操作中可能失败。因此使用消息队列进行异步处理之后，需要适当修改业务流程进行配合，比如用户在提交订单之后，订单数据写入消息队列，不能立即返回用户订单提交成功，需要在消息队列的订单消费者进程真正处理完该订单之后，甚至出库后，再通过电子邮件或短信通知用户订单成功，以免交易纠纷。类似的场景有手机订火车票和电影票。

2.降低系统耦合性。

如果模块之间不存在直接调用，那么新增模块或者修改模块就对其他模块影响较小，这样系统的可扩展性无疑更好一些
我们最常见的事件驱动架构类似生产者消费者模式，在大型网站中通常用利用消息队列实现事件驱动结构。

消息队列使利用发布-订阅模式工作，消息发送者（生产者）发布消息，一个或多个消息接受者（消费者）订阅消息。从上图可以看到消息发送者（生产者）和消息接受者（消费者）之间没有直接耦合，消息发送者将消息发送至分布式消息队列即结束对消息的处理，消息接受者从分布式消息队列获取该消息后进行后续处理，并不需要知道该消息从何而来。对新增业务，只要对该类消息感兴趣，即可订阅该消息，对原有系统和业务没有任何影响，从而实现网站业务的可扩展性设计。

　　消息接受者对消息进行过滤、处理、包装后，构造成一个新的消息类型，将消息继续发送出去，等待其他消息接受者订阅该消息。因此基于事件（消息对象）驱动的业务架构可以是一系列流程。

　　另外为了避免消息队列服务器宕机造成消息丢失，会将成功发送到消息队列的消息存储在消息生产者服务器上，等消息真正被消费者服务器处理后才删除消息。在消息队列服务器宕机后，生产者服务器会选择分布式消息队列服务器集群中的其他服务器发布消息。

备注：不要认为消息队列只能利用发布-订阅模式工作，只不过在解耦这个特定业务环境下是使用发布-订阅模式的。除了发布-订阅模式，还有点对点订阅模式（一个消息只有一个消费者），我们比较常用的是发布-订阅模式。另外，这两种消息模型是 JMS 提供的，AMQP 协议还提供了 5 种消息模型。

2.4-使用消息队列可能存在的问题

系统可用性降低：系统可用性在某种程度上降低，为什么这样说呢？在加入MQ之前，你不用考虑消息丢失或者说MQ挂掉等等的情况，但是，引入MQ之后你就需要去考虑了！
系统复杂性提高：加入MQ之后，你需要保证消息没有被重复消费、处理消息丢失的情况、保证消息传递的顺序性等等问题！
一致性问题：我上面讲了消息队列可以实现异步，消息队列带来的异步确实可以提高系统响应速度。但是，万一消息的真正消费者并没有正确消费消息怎么办？这样就会导致数据不一致的情况了!

3-JMS和AMQP分析：

3.1-名词解释

队列（queue）：点对点消息通信（point-to-point）消息发送者发送消息，消息代理将其放入一个队列中，消息接收者从队列中获取消息内容，消息读取后被移出队列，消息只有唯一的发送者和接受者，但并不是说只能有一个接受者。
发布订阅式：发送者（发布者）发送消息到主题，多个接收者（订阅者）监听（订阅）这个主题，那么就会在消息到达同时收到消息。
JMS(Java Message Service) Java 消息服务：基于JVM消息代理的规范。ActiveMQ、HornetMQ是JMS实现。
AMQP（Advance Message Queuing Protocol）高级消息队列协议，也是一个消息代理的规范，兼容JMS ，RabbitMQ是AMQP的实现。

3.2-JMS分析

JMS（JAVA Message Service,java消息服务）是java的消息服务，JMS的客户端之间可以通过JMS服务进行异步的消息传输。JMS（JAVA Message Service,Java消息服务）API是一个消息服务的标准或者说是规范，允许应用程序组件基于JavaEE平台创建、发送、接收和读取消息。它使分布式通信耦合度更低，消息服务更加可靠以及异步性。

ActiveMQ 就是基于 JMS 规范实现的。

3.2.1-JMS的两种消息模型

（1）点到点（P2P）模型

使用队列（Queue）作为消息通信载体；满足生产者与消费者模式，一条消息只能被一个消费者使用，未被消费的消息在队列中保留直到被消费或超时。比如：我们生产者发送100条消息的话，两个消费者来消费一般情况下两个消费者会按照消息发送的顺序各自消费一半（也就是你一个我一个的消费。）
Image 2020-03-25-11-29-02-001.png

（2）发布/订阅模型（Publish/Subscribe）

发布订阅模型（Pub/Sub）使用主题（Topic）作为消息通信载体，类似于广播模式；发布者发布一条消息，该消息通过主题传递给所有的订阅者，在一条消息广播之后才订阅的用户则是收不到该条消息的。

Image 2020-03-25-11-29-59-001.png

3.2.2- JMS 五种不同的消息正文格式

　JMS定义了五种不同的消息正文格式，以及调用的消息类型，允许你发送并接收以一些不同形式的数据，提供现有消息格式的一些级别的兼容性。

StreamMessage -- Java原始值的数据流
MapMessage--一套键值对
TextMessage--一个字符串对象
ObjectMessage--一个序列化的 Java对象
BytesMessage--一个字节的数据流

3.3 -AMQP

AMQP，即Advanced Message Queuing Protocol,一个提供统一消息服务的应用层标准高级消息队列协议（二进制应用层协议），是应用层协议的一个开放标准,为面向消息的中间件设计，兼容 JMS。基于此协议的客户端与消息中间件可传递消息，并不受客户端/中间件同产品，不同的开发语言等条件的限制。

RabbitMQ 就是基于 AMQP 协议实现的。

3.3.1-JMS与AMQP

JMS虽然有抽象出Destination，但是具体编程的时候，需要使用者指定是Queue还是Topic。

AMQP，通过Exchange屏蔽了queue和topic的细节。

3.3.2-AMQP消息路由

简单的说就是借助Exchange通过routingKey和binding两个的组合使用实现message与queue的路由。

仅仅使用routingKey，不需要exchange与queue绑定，就是direct模式
不使用routingKey，使用exchange与queue的绑定，就是Fanout模式
既使用routingKey，又使用Exchange与Queue的绑定，就是Topic模式，较为复杂，可以基于bindingKey的规则匹配过滤/指定要接收发送到绑定的exchange上的不同routingKey的消息。

3.3.3-Exchange模式

（1）Topic

就是主题模式，需要routingKey，也需要绑定Queue，根据绑定的routingkey来发送：

topic交换器通过模式匹配分配消息的路由键属性，将路由键和某个模式进行匹配，此时队列需要绑定到一个模式上，它将路由键和绑定键的字符串切分成单词，这些单词之间用点隔开。它同样也会识别两个通配符：符号“#”和符号“*”，#匹配0个或多个单词，*匹配一个单词。

（2）Fanout 不需要routingKey，需要Exchange与Queue绑定：

每个发到fanout类型交换器的信息都会分到所有绑定的队列上去。fanout交换器不处理路由健，知识简单地将队列绑定到交换器上，每个发送到交换器的消息都会被转发到与该交换器绑定的所有队列上。很想子网广播，每台子网内的主机都获得了一份复制的消息。fanout类型转发消息是最快的。

（3）direct模式

需要routingKey，不需要Exchange与Queue绑定，直接根据routingKey发送：

消息中的路由键（routing key）如果和 Binding 中的 binding key 一致，交换器就将消息发到对应的队列中。路由键与队列名完全匹配，如果一个队列绑定到交换机要求路由键为“dog”，则只转发 routing key 标记为“dog”的消息，不会发“dog.puppy”，也不会转发“dog.guard”等等。它是完全匹配、单播的模式。
direct模式.png

（4）AMQP消息格式
AMQP消息格式.png

3.3.4-总结

AMQP 为消息定义了线路层（wire-level protocol）的协议，而JMS所定义的是API规范。在 Java 体系中，多个client均可以通过JMS进行交互，不需要应用修改代码，但是其对跨平台的支持较差。而AMQP天然具有跨平台、跨语言特性。
JMS 支持TextMessage、MapMessage 等复杂的消息类型；而 AMQP 仅支持 byte[] 消息类型（复杂的类型可序列化后发送）。
由于Exchange 提供的路由算法，AMQP可以提供多样化的路由方式来传递消息到消息队列，而 JMS 仅支持队列和主题/订阅方式两种。

4-常见的消息队列对比

对比方向

概要

吞吐量

万级的 ActiveMQ 和 RabbitMQ 的吞吐量（ActiveMQ 的性能最差）要比十万级甚至是百万级的 RocketMQ 和 Kafka 低一个数量级。

可用性

都可以实现高可用。ActiveMQ 和 RabbitMQ 都是基于主从架构实现高可用性。RocketMQ 基于分布式架构。 kafka 也是分布式的，一个数据多个副本，少数机器宕机，不会丢失数据，不会导致不可用

时效性

RabbitMQ 基于erlang开发，所以并发能力很强，性能极其好，延时很低，达到微秒级。其他三个都是 ms 级。

功能支持

除了 Kafka，其他三个功能都较为完备。 Kafka 功能较为简单，主要支持简单的MQ功能，在大数据领域的实时计算以及日志采集被大规模使用，是事实上的标准

消息丢失

ActiveMQ 和 RabbitMQ 丢失的可能性非常低， RocketMQ 和 Kafka 理论上不会丢失。

总结：

ActiveMQ 的社区算是比较成熟，但是较目前来说，ActiveMQ 的性能比较差，而且版本迭代很慢，不推荐使用。
RabbitMQ 在吞吐量方面虽然稍逊于 Kafka 和 RocketMQ ，但是由于它基于 erlang 开发，所以并发能力很强，性能极其好，延时很低，达到微秒级。但是也因为 RabbitMQ 基于 erlang 开发，所以国内很少有公司有实力做erlang源码级别的研究和定制。如果业务场景对并发量要求不是太高（十万级、百万级），那这四种消息队列中，RabbitMQ 一定是你的首选。如果是大数据领域的实时计算、日志采集等场景，用 Kafka 是业内标准的，绝对没问题，社区活跃度很高，绝对不会黄，何况几乎是全世界这个领域的事实性规范。
RocketMQ 阿里出品，Java 系开源项目，源代码我们可以直接阅读，然后可以定制自己公司的MQ，并且 RocketMQ 有阿里巴巴的实际业务场景的实战考验。RocketMQ 社区活跃度相对较为一般，不过也还可以，文档相对来说简单一些，然后接口这块不是按照标准 JMS 规范走的有些系统要迁移需要修改大量代码。还有就是阿里出台的技术，你得做好这个技术万一被抛弃，社区黄掉的风险，那如果你们公司有技术实力我觉得用RocketMQ 挺好的
kafka 的特点其实很明显，就是仅仅提供较少的核心功能，但是提供超高的吞吐量，ms 级的延迟，极高的可用性以及可靠性，而且分布式可以任意扩展。同时 kafka 最好是支撑较少的 topic 数量即可，保证其超高吞吐量。kafka 唯一的一点劣势是有可能消息重复消费，那么对数据准确性会造成极其轻微的影响，在大数据领域中以及日志采集中，这点轻微影响可以忽略这个特性天然适合大数据实时计算以及日志收集。

二、RabbitMQ介绍

RabbitMQ是一个由erlang开发的AMQP(Advanved Message Queue)的开源实现;在RabbitMQ官网上主要有这样的模块信息, Work queues消息队列,Publish/Subscribe发布订阅服务,Routing, Topics, RPC等主要应用的模块功能.

1-概念说明

Broker:它提供一种传输服务,它的角色就是维护一条从生产者到消费者的路线，保证数据能按照指定的方式进行传输,
Exchange：消息交换机,它指定消息按什么规则,路由到哪个队列。
Queue:消息的载体,每个消息都会被投到一个或多个队列。
Binding:绑定，它的作用就是把exchange和queue按照路由规则绑定起来.
Routing Key:路由关键字,exchange根据这个关键字进行消息投递。
vhost:虚拟主机,一个broker里可以有多个vhost，用作不同用户的权限分离。
Producer:消息生产者,就是投递消息的程序.
Consumer:消息消费者,就是接受消息的程序.
Channel:消息通道,在客户端的每个连接里,可建立多个channel.

2-工作流程

Image 2020-03-25-13-45-52-001.png

Rabbitmq系统最核心的组件是Exchange和Queue，上图是系统简单的示意图。Exchange和Queue是在rabbitmq server（又叫做broker）端，producer和consumer在应用端。

流程思路

左边的Client向右边的Client发送消息，流程：

1，获取Conection

2，获取Channel

3，定义Exchange，Queue

4，使用一个RoutingKey将Queue Binding到一个Exchange上

5，通过指定一个Exchange和一个RoutingKey来将消息发送到对应的Queue上，

6，接收方在接收时也是获取connection，接着获取channel，然后指定一个Queue直接到它关心的Queue上取消息，它对Exchange，RoutingKey及如何binding都不关心，到对应的Queue上去取消息就OK了;

queue（队列）
消息队列，提供了FIFO的处理机制，具有缓存消息的能力。rabbitmq中，队列消息可以设置为持久化，临时或者自动删除。

设置为持久化的队列，queue中的消息会在server本地硬盘存储一份，防止系统crash，数据丢失

设置为临时队列，queue中的数据在系统重启之后就会丢失

设置为自动删除的队列，当不存在用户连接到server，队列中的数据会被自动删除;

Binding(绑定)

所谓绑定就是将一个特定的Exchange和一个特定的 Queue 绑定起来。Exchange和Queue的绑定可以是多对多的关系。

client(Producer&Consumer)

producer指的是消息生产者，consumer消息的消费者。

3-Rabbit的消息任务机制

1.Round-robin dispathching循环分发

RabbbitMQ的分发机制非常适合扩展,而且它是专门为并发程序设计的,如果现在load加重,那么只需要创建更多的Consumer来进行任务处理。

2.Message acknowledgment消息确认

为了保证数据不被丢失,RabbitMQ支持消息确认机制,为了保证数据能被正确处理而不仅仅是被Consumer收到,那么我们不能采用no-ack，而应该是在处理完数据之后发送ack.

在处理完数据之后发送ack,就是告诉RabbitMQ数据已经被接收,处理完成,RabbitMQ可以安强调内容全的删除它了.

如果Consumer退出了但是没有发送ack,那么RabbitMQ就会把这个Message发送到下一个Consumer，这样就保证在Consumer异常退出情况下数据也不会丢失.

RabbitMQ它没有用到超时机制.RabbitMQ仅仅通过Consumer的连接中断来确认该Message并没有正确处理，也就是说RabbitMQ给了Consumer足够长的时间做数据处理。

如果忘记ack,那么当Consumer退出时,Mesage会重新分发,然后RabbitMQ会占用越来越多的内存.

4-消息序列化

RabbitMQ使用ProtoBuf序列化消息,它可作为RabbitMQ的Message的数据格式进行传输,由于是结构化的数据,这样就极大的方便了Consumer的数据高效处理,当然也可以使用XML，与XML相比,ProtoBuf有以下优势:

1.简单

2.size小了3-10倍

3.速度快了20-100倍

4.易于编程

6.减少了语义的歧义.

另外,ProtoBuf具有速度和空间的优势，使得它现在应用非常广泛;

三、SpringBoot与RabbitMQ

1-启动

/\*\*  
  \* 自动配置  
  \*  1、RabbitAutoConfiguration  
  \*  2、有自动配置了连接工厂ConnectionFactory；  
  \*  3、RabbitProperties 封装了 RabbitMQ的配置  
  \*  4、 RabbitTemplate ：给RabbitMQ发送和接受消息；  
  \*  5、 AmqpAdmin ： RabbitMQ系统管理功能组件;  
  \*      AmqpAdmin：创建和删除 Queue，Exchange，Binding  
  \*  6、@EnableRabbit +  @RabbitListener 监听消息队列的内容  
  \*  
  \*/  
 @EnableRabbit  //开启基于注解的RabbitMQ模式  
 @SpringBootApplication  
 public class Springboot02AmqpApplication {

2-SpringBoot整合RabbitMQ

2.1-Maven依赖

<dependency\>  
  <groupId\>org.springframework.boot</groupId\>  
  <artifactId\>spring-boot-starter-amqp</artifactId\>  
 </dependency\>

2.2-application.yml配置

 spring.rabbitmq.host=192.168.1.110  \# RabbitMQ服务器IP  
 spring.rabbitmq.username=guest  
 spring.rabbitmq.password=guest  
 #spring.rabbitmq.virtual-host=

2.3-测试

 @Test  
 public void contextLoads() {  
  //Message需要自己构造一个;定义消息体内容和消息头  
  //rabbitTemplate.send(exchage,routeKey,message);  
   
  //object默认当成消息体，只需要传入要发送的对象，自动序列化发送给rabbitmq；       //rabbitTemplate.convertAndSend(exchage,routeKey,object);  
  Map<String,Object\> map \= new HashMap<>();  
  map.put("msg","这是第一个消息");  
  map.put("data", Arrays.asList("helloworld",123,true));  
  //对象被默认序列化以后发送出去  
  rabbitTemplate.convertAndSend("exchange.direct","Onebooming.news",new Book("西游记","吴承恩"));  
   
  }

2.4-AmqpAdmin：管理组件

  //接收数据,如何将数据自动的转为json发送出去  
  @Test  
  public void receive(){  
  Object o \= rabbitTemplate.receiveAndConvert("Onebooming.news");  
  System.out.println(o.getClass());  
  System.out.println(o);  
  }

2.5-RabbitTemplate：消息发送处理组件

 /\*\*  
  \* 广播  
  \*/  
  @Test  
  public void sendMsg(){  
  rabbitTemplate.convertAndSend("exchange.fanout","",new Book("红楼梦","曹雪芹"));  
  }

参考：

【1】https://segmentfault.com/a/1190000017438288

【2】https://zhuanlan.zhihu.com/p/107140419

【3】https://zhuanlan.zhihu.com/p/62087283

【4】https://zhuanlan.zhihu.com/p/79385336

SpringBoot与消息