写点什么

MQ 的原理以及持久化

作者:浅羽技术
  • 2022 年 8 月 30 日
    四川
  • 本文字数:1973 字

    阅读完需:约 6 分钟

MQ 的原理以及持久化

mq 的原理是什么

消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上, 队列存储消息直到它们被应用程序读走。通过消息队列,应用程序可独立地执行 -- 它们不需要知道彼此的位置、或在继续执行前不需要等待接收程序接收此消息。


在分布式计算环境中,为了集成分布式应用,开发者需要对异构网络环境下的分布式应用提供有效的通信手段。为了管理需要共享的信息,对应用提供公共的信息交换机制是重要的。


消息队列为构造以同步或异步方式实现的分布式应用提供了松耦合方法。消息队列的 API 调用被嵌入到新的或现存的应用中,通过消息发送到内存或基于磁盘的队列或从它读出而提供信息交换。消息队列可用在应用中以执行多种功能,比如要求服务、交换信息或异步处理等。


中间件是一种独立的系统软件或服务程序,分布式应用系统借助这种软件在不同的技术之间共享资源,管理计算资源和网络通讯。它在计算机系统中是一个关键软件,它能实现应用的互连和互操作性,能保证系统的安全、可靠、高效的运行。


中间件位于用户应用和操作系统及网络软件之间,它为应用提供了公用的通信手段,并且独立于网络和操作系统。


中间件为开发者提供了公用于所有环境的应用程序接口,当应用程序中嵌入其函数调用,它便可利用其运行的特定操作系统和网络环境的功能,为应用执行通信功能。


如果没有消息中间件完成信息交换,应用开发者为了传输数据,必须要学会如何用网络和操作系统软件的功能,编写相应的应用程序来发送和接收信息,且交换信息没有标准方法,每个应用必须进行特定的编程从而和多平台、不同环境下的一个或多个应用通信。


例如,为了实现网络上不同主机系统间的通信,将要求具备在网络上如何交换信息的知识(比如用 TCP/IP 的 socket 程序设计);为了实现同一主机内不同进程之间的通讯,将要求具备操作系统的消息队列或命名管道 (Pipes) 等知识。

MQ 的通讯模式

  1. 点对点通讯:点对点方式是最为传统和常见的通讯方式,它支持一对一、一对多、多对多、多对一等多种配置方式,支持树状、网状等多种拓扑结构。

  2. 多点广播:MQ 适用于不同类型的应用。其中重要的,也是正在发展中的是 "多点广播" 应用,即能够将消息发送到多个目标站点 (Destination List)。


可以使用一条 MQ 指令将单一消息发送到多个目标站点,并确保为每一站点可靠地提供信息。MQ 不仅提供了多点广播的功能,而且还拥有智能消息分发功能,在将一条消息发送到同一系统上的多个用户时,MQ 将消息的一个复制版本和该系统上接收者的名单发送到目标 MQ 系统。


目标 MQ 系统在本地复制这些消息,并将它们发送到名单上的队列,从而尽可能减少网络的传输量。


  1. 发布 / 订阅 (Publish/Subscribe) 模式:发布 / 订阅功能使消息的分发可以突破目的队列地理指向的限制,使消息按照特定的主题甚至内容进行分发,用户或应用程序可以根据主题或内容接收到所需要的消息。


发布 / 订阅功能使得发送者和接收者之间的耦合关系变得更为松散,发送者不必关心接收者的目的地址,而接收者也不必关心消息的发送地址,而只是根据消息的主题进行消息的收发。


在 MQ 家族产品中,MQ Event Broker 是专门用于使用发布 / 订阅技术进行数据通讯的产品,它支持基于队列和直接基于 TCP/IP 两种方式的发布和订阅。


  1. 群集 (Cluster):为了简化点对点通讯模式中的系统配置,MQ 提供 Cluster(群集) 的解决方案。群集类似于一个域 (Domain),群集内部的队列管理器之间通讯时,不需要两两之间建立消息通道,而是采用群集(Cluster) 通道与其它成员通讯,从而大大简化了系统配置。


此外,群集中的队列管理器之间能够自动进行负载均衡,当某一队列管理器出现故障时,其它队列管理器可以接管它的工作,从而大大提高系统的高可靠性

mq 的持久化是怎么做的;

以 ActiveMq 为例

ActiveMQ 消息持久化方式,分别是:文件、mysql 数据库、oracle 数据库

a. 文件持久化:

ActiveMQ 默认的消息保存方式,一般如果没有修改过其他持久化方式的话可以不用修改配置文件。


如果是修改过的,打开盘符:\apache-activemq - 版本号 \ conf\activemq.xml,然后找到节点,将其替换成以下代码段



这样就算配置完成了文件持久化方式了,重启项目和 ActiveMQ,发送一定消息队列之后关闭 ActiveMQ 服务,再启动,你可以看到之前发送的消息未消费的依然保持在文件里面,继续让监听者消费。

b.MySQL 持久化

首先需要把 MySql 的驱动放到 ActiveMQ 的 Lib 目录下,我用的文件名字是:mysql-connector-java-5.1.27.jar


然后打开盘符:\apache-activemq - 版本号 \ conf\activemq.xml,然后找到节点,将其替换成以下代码段



这样就算完成了 mysql 持久化配置了,验证方式同 a,打开 mysql 数据库你能看到三张表,分别是:activemq_acks,activemq_lock,activemq_msgs。

c.Oracle 持久化

 oracle的配置和mysql一样,在Lib目录下,放入oracle的驱动包,然后配置一下配置文件即可。
复制代码



发布于: 刚刚阅读数: 4
用户头像

浅羽技术

关注

才疏学浅,习习而为,编程羽录,与你同行。 2019.02.26 加入

分享一些计算机信息知识、理论技术、工具资源、软件介绍、后端开发、面试、工作感想以及生活随想等一系列文章。

评论

发布
暂无评论
MQ 的原理以及持久化_MQ_浅羽技术_InfoQ写作社区