架构实战营模块 3 作业

前言

本文是游戏业务线消息队列中间件详细架构设计文档，用于指导消息队列后续的开发、测试和运维

词汇表

Reactor: 网络编程模式

Netty: 开源的网络编程框架 mo

Zookeeper: 开源分布式系统的可靠协调系统

业务背景

目的是解耦服务间的依赖

2014 年左右，游戏业务发展很快，系统也越来越多，系统间协作的效率很低，例如:【新版本发布了】

游戏厂家更新游戏版本后，运营人员获取最新的游戏包，更新版本信息，然后上传包到包管理系统打测试包，运营人员进行基本测试。运营子系统通知论坛有新的包将要发布，进行预热。测试完成后，运营管理子系统要通知包管理系统进行打包游戏准点正式发布的时候，运营子系统要通知 App、Web 站点等即时更新到新版本

【玩家充钱了】

玩家进行充值，充值完成后充值子系统通知 VIP 子系统;VIP 子系统判断玩家等级，达到 VIP 后，等级子系统要通知福利子系统进行奖品发放，要通知客服子系统安排专属服务人员，要通知商品子系统进行商品打折处理......等级子系统的开发人员也是不胜其烦。

约束和限制

成本：不能超过 500 萬

时间：在 2014 年 9 月 30 日前上線

技术：数据库采用 MySQL

质量：符合 ISO9001-2015

总体架构设计 Rank, Role, Relation

复杂度分析

高性能：不需要，游戏新版本发布和 VIP 充值的消息并不多

高可用：需要，游戏版本发布和 VIP 都是高优先级业务

可扩展：不需要，消息队列的功能基本明确，无需扩展

系统图

1. Java 语言编写消息队列服务器

2. 消息存储采用 MySQL

3. SDK 轮询服务器进行消息写入

4. SDK 轮询服务器进行消息读取

5. MySQL 双机保证消息尽量不丢

6. 使用 Netty 自定义消息格式，并且支持 HTTP 接口

架构图

客户端 Role 设计

1. 客户端采用 Java 语言开发，基于 Netty 实现与服务器端交互

服务器 Role 设计

1. 服务器基于 Netty 开发，采用 Reactor 网络模型

2. 两台服务器组成一个 sharding，整个系统可以多个 sharding，每个 sharding 包含一主一备两台服务器

3. 主服务器提供消息读写操作，备服务器复制主服务器数据

4. 服务器基于 ZooKeeper 进行主备切换

客户端和服务器的 Relation 设计

1. 客户端与服务端采用 TCP 连接，采用 Json 传递数据

2. 为了兼容非 Java 系统，服务端同时提供 HTTP 接口

MySQL 的 Role 和 Relation 设计

1. 采用 MySQL 主备设计

2. 每个消息队列对应一个表

3. 消息表最多存储 30 天内的消息，过期的自动清除

4. 用 MySQL 的主备复制来实现数据复制

詳细架构设计 Rule

架构规范

交互协议：客户端和服务器连接方式主备服务器的倒换方式

数据格式：客户端和服务器数据格式数据复制直接用 MySQL

开发框架：客户端和服务器的开发框架 SpringBoost

架构设计 Rule

消息发布

1. 消息队列系统设计两个角色:生产者和消费者，每个角色都有唯一的名称。

2. 消息队列系统提供 SDK 供各业务系统调用，SDK 从配置中读取所有消息队列系统的服务器信息，SDK 采取轮询算法发起消息写入请求给主服务器。

3. 如果某个主服务器无响应或者返回错误，SDK 将发起请求发送到下一台主服务，相当于在客户端实现了分片的功能

消息读取

1. 消息队列系统提供 SDK 供各业务系统调用，SDK 从配置中读取所有消息队列系统的服务器信息，轮流向所有服务器发起消息读取请求。

2. 消息队列服务器需要记录每个消费者的消费状态，即当前消费者已经读取到了哪条消息，当收到消息读取请求时，返回下一条未被读取的消息给消费者。

3. 默认情况下主服务器提供读写服务，当主服务器挂掉后，从服务器提供读消息服务

服务器主备切换

1. 同一组的主备服务器配置相同的 group 名称，在 ZooKeeper 建立对应的 PERSISENT 节点

2. 主备服务器启动后，在 ZooKeeper 对应的 group 节点下建立 EPHEMERAL 节点，名称分为 leader 和 follower

3. follower 服务器 watch 主服务器的 leader 节点状态，当 leader 节点超时被删除后，从服务器接管读消息，收到客户端 SDK 的读消息请求后返回消息，收到客户端 SDK 的写请求直接拒绝。

架构质量设计

可测试性设计：日志、命令行

可维护性设计：管理后台、运维系统

可运维性设计：日志、监控系统

安全/成本设计：安全、成本

架构演进规划

v0.1：1 个月后，第一个给测试团队

v0.2.x-v0.9.x：1 周 1 个发布修改 bug

v0.9.x: 9/15 公开测式

v1.0：9/30 正式上线