1

什么是MQ

MQ(Message Queue)消息队列,是基础数据结构中“先进先出”的一种数据结构。
可以访问 这里 查看更多关于RabbitMQ的原创文章。

MQ.png

为什么使用MQ

其应用场景主要包含以下三个方面

应用解耦

系统的耦合性越高,系统的容错性就越低。以电商应用为例,用户创建订单后,如果耦合调用库存系统、物流系统、支付系统,任何一个子系统出了故障或者因为升级等原因暂时不可用,都会造成下单操作异常,影响用户体验。
应用解耦.png

使用消息队列解耦合。比如物流系统发生故障,需要几分钟才能修复好,在这段时间内,物流系统要处理的数据被缓存到消息队列中,用户的下单操作正常完成。当物流系统恢复后,补充处理存在消息队列中的订单消息即可,终端系统感知不到物流系统发生过几分钟故障。
应用解耦2.png

流量削峰

比如一个秒杀系统,当秒杀开始时,整个系统的流量会突然间增大,这个时候,就有可能把数据库压垮。
流量削峰.png

有了消息队列后,可以将大量请求缓存起来,分流到很长一段时间处理,这样可以大大提高系统的稳定性和用户体验。

流量削峰2.png

  • 一般情况,为了保证系统的稳定性,如果系统负载超过阈值,就会阻止用户请求,这会影响用户体验。
  • 而如果使用消息队列将请求缓存起来,等待系统处理完毕后通知用户下单完毕,这样总比不能下单体验要好。
  • 业务系统正常时段的QPS如果是 1000,流量最高峰时是10000,为了应对流浪高峰而去配置高性能的服务器显然不划算,这时可以使用消息队列对峰值流量削峰。

数据分发

未使用MQ

我们先来看这样的一个场景:
数据分发1.png

A系统需要频繁的更改代码,这显然不是一个好的设计,使用MQ可以解决这个问题。

使用MQ

数据分发2.png

通过消息队列可以让数据在多个系统之间进行流通,数据的生产方不用关心谁来使用数据,只需要将数据发送到消息队列,数据使用方直接在消息队列中直接获取数据即可。

MQ的缺点

系统的可用性降低

系统引入的外部依赖越多,系统的稳定性越差,一旦MQ宕机,就会对业务造成影响。

系统的复杂性提高

MQ的加入大大增加了系统的复杂度,以前系统间是同步的远程调用,现在是通过MQ进行异步调用:

  • 如何保证消息没有被重复消费?
  • 怎么处理消息丢失情况?
  • 怎么保证消息传递的时效性?

一致性问题

A系统处理完业务,通过MQB,C,D三个系统发送消息,如果B系统、C系统处理成功,D系统处理失败:

  • 如何保证消息数据处理的一致性?

各种MQ产品的比较

常见的MQ产品包括KafkaActiveMQRabbitMQRocketMQ
| 特性 | ActiveMQ | RabbitMQ | RocketMQ | Kafka |
| :-------- | :--------:| :------: |:------: |------:|
| 开发语言 | java | erlang | java | scala |
| 单机吞吐量 | 万级 | 万级 | 10万级 | 10万级 |
| 时效性 | ms级 | us级 | ms级 | ms级以内 |
| 可用性 | 高(主从架构) | 高(主从架构) | 非常高(分布式架构) | 非常高(分布式架构)|
| 功能特性 | 成熟的产品,在很多公司得到应用;有较多的文档;各种协议支持较好 | 基于erlang开发,所以并发能力强;性能极其好,延时性很低;管理界面较丰富 | MQ功能比较完善,扩展性佳 | 支持主要的MQ功能;像一些消息查询,消息回调等功能没有提供;毕竟是为大数据准备的,在大数据领域应用广 |

更多文章 

欢迎访问更多关于消息中间件的原创文章:

关注微信公众号

欢迎大家关注我的微信公众号阅读更多文章:
微信公众号二维码.jpg


liuyongfei
445 声望30 粉丝

可以访问 这里 查看更多关于大数据平台建设的原创文章。