模块三作业：消息队列详细设计文档

前言

       本文是游戏业务线消息队列中间件详细架构设计文档，用于指导消息队列后续的开发、测试和运维。

词汇表

1. 业务背景

       2014，游戏业务发展很快，系统也越来越多，系统间协作的效率很低。由此带来了几个明显的问题：

1.       性能问题。当用户在运营子系统发布一个版本以后，需要同步调用“论坛”、“包管理子系统”、“app”、“web“，性能非常低下。

2.       耦合问题。当新增一个子系统时，例如新增充值相关系统，那么 vip 子系统需要开发新的接口给充值子系统调用。

3.       效率问题：每个子系统提供的接口参数和实现都有一些细微的差别，导致每次都需要重新设计接口和联调接口，开发团队和测试团队花费了许多重复工作量。

基于以上背景，我们需要引入消息队列进行系统解耦，将目前的同步调用改为异步通知。本架构设计主要是为了增强系统间协作效率，通过消息队列的高可用等特性，保证消息不丢失，各类通知可以准确投递，同时各个系统之间可以解耦，降低系统开发的复杂度。

2. 约束和限制

1.       消息队列必须保证消息的高可用，整个系统对于消息丢失的容忍性很低。

2.       必须能够接入现有的运维系统，支持现有系统的运维和监控。

3.       在保证质量的情况下尽量节约成本，成本不能超过 500 万。

3. 总体架构

系统边界白盒图：

系统架构图

=

3.1 架构分析

3.1.1 高可用

       对于消息队列系统来说，如果消息丢失了，导致用户充值信息丢失，则会严重影响用户体验，很可能会导致用户流失；对于等级子系统来说，如果用户达到了相应等级以后，系统没有给他奖品和专属服务，则 vip 用户会很不满意，导致用户流失从而损失收入。

       综合来看，消息队列需要高可用性，包括消息写入、消息存储、消息读取都需要保证高可用性。

3.1.2 高性能

       对于游戏新版本发布和 vip 充值消息，这类消息的并发数量不会很多，并发度不会很高，不需要高性能。但是从使用体验上考虑，应该在其他条件满足的条件下尽可能实现较高的性能。

3.1.3 可扩展

       消息队列的主要功能是提供消息写入、消息存储、消息读取，其功能非常明确，不需要提供额外的可扩展性。

3.1.4 成本

       因为业务需要，开发投入人力和时间不能太长，应该尽量考虑在按质按量的情况下使用较少的人力进行开发。

3.2 总体架构

1.       Mysql 集群采用分库分表设计，每一张表就是一种类型的消息，每个表存储 30 天的消息数据。集群的数据采用分散存储的架构，每个分组存储一部分消息数据

2.       每个消息分组包含一台主 Mysql 和一台备 Mysql，分组内主备数据复制、分组间数据不同步。

3.       正常情况下，分组内的主服务器对外提供消息写入和消息读取服务，备服务器提供消息读取服务；

4.       主服务器宕机的情况下，备服务器只对外提供消息读取服务。

5.       客户端采用轮训的策略写入和读取消息。

4. 详细设计

[必选，描述核心场景或者流程的实现机制]

4.1 核心功能

4.1.1 消息发送流程

1.       client 往消息队列服务器写入消息，包含 topic 以及消息信息

2.       消息队列服务器根据消息 topic 判断消息属于哪个分片，往对应分片写入消息。

3.       mysql 写入成功以后返回消息给消息队列服务器，消息队列服务器将写入成功的消息同步返回给客户端。

4.1.2 消息消费流程（略）

4.2 关键设计

1.       消息发送可靠性

a)        业务服务器中嵌入消息队列提供的 SDK，SDK 支持轮询发送消息。当某个分组的主服务器无法发送消息时，SDK 挑选下一个分组主服务器重发消息，依次尝试所有主服务器直到发送成功；如果全部主服务器都无法发送，SDK 可以缓存消息，也可以直接丢弃消息，具体策略可以在启动 SDK 的时候通过配置指定。

b)       如果 SDK 缓存了一些消息未发送，此时恰好服务器又重启，则所有缓存的消息将永久丢失，这种情况 SDK 不做处理，业务方需要针对某些非常关键的消息实现永久存储的功能。

2.       消息存储可靠性

a)  消息存储在 mysql 中，每个分组有一主一备两台 MySQL 服务器，MySQL 服务器之间复制消息以保证消息存储高可用。

b) 如果主备间出现复制延迟，恰好此时 MySQL 主服务器宕机导致数据无法恢复，则部分消息会永久丢失，这种情况不做针对性设计，DBA 需要对主备间的复制延迟进行监控，当复制延迟超过 30 秒的时候需要及时告警并进行处理。

3.       消息存储格式， 每个消息队列对应一个 mysql 表，消息队列名就是表名，表结构设计为：

a)        表内部的自增 id 作为主键

b)       消息 id（也是递增的）作为消息的 id

c)        消息的内容采用 varchar,内部是消息的 pb 序列化后的字符串

d)       消息是否已读字段

4.       （略）

4.3 设计规范

1.       消息队列服务采用 Spring Boot + Netty 开发

2.       Mysql 使用 innodb 存储引擎

3.       TCP 包的结构设计，采用 pb 协议，包含消息 id 和消息内容两个部分

5. 质量设计

5.1 消息队列管理后台

       消息队列管理后台包含了权限管理、配置管理、监控以及维护操作。

5.2 成本（略）

6. 演进规划

6.1 消息队列第一期    消息队列实现消息可写、可读，保证消息存储的 mysql 主备高可用。

6.2 消息队列第二期    消息队列实现消息存储的 mysql 主从自动切换，当主 mysql 挂掉以后，从机自动切换为主 mysql