架构营作业 - 模块 4

1.设计千万级学生管理系统的考试试卷存储方案

【作业要求】基于模块 4 第 6 课的估算结果和 Redis sentinel 的初步方案设计，完善考试试卷存储方案，具体包括：

1）完善 Redis 的数据结构设计，明确具体使用哪种 Redis 数据结构

2）设计具体的读写流程（可以文字描述也可以序列图描述，序列图要有文字辅助说明）

3）对照模块 4 第 6 课的性能估算结果，计算 Redis sentinel 集群的服务器数量和性能

估算结果：

1.假设每门学科每年 2 次考试，每个学生平均一学期 20 门课，考试采取机考的方式，每门考试的答案 20 判断题、20 选择题、4 道大题（答案 200 字以内），考试结果永久保存，在校学生能够看到自己曾经的考试结果，则考试结果记录的存储量为：

(1)在校学生：1000 万 * 20（课）* 2（考试次数） * 1000（答案）* 2（学期） * 3（只有前三年考试）= 2.4T

(2)离校学生：每年 250 万，存储量为 0.6T

2.假设学校的考试都安排在某一个月内，考试的时候请求试卷，提交答案，中间答题过程浏览器本地完成，由于考试集中在上午 4 小时和下午 4 小时，且请求试卷集中在考试开始的前 1 分钟，提交答案集中在考试结束前的 30 分钟，因此估算如下：

(1)请求试卷：1000 万 * 20（课）/ 20(周末不考试） / 4（每天 4 堂考试）/ 1 分钟 = 250 万请求/分钟 ≈ 5 万/每秒

(2)提交试卷： 1000 万 * 20（课）/ 20(周末不考试） / 4（每天 4 堂考试）/ 30 分钟 = 1700/每秒

存储性能需求：

1. 在校学生考试结果存储：2.4T，

2. 离校学生考试结果存储：每年增长 0.6T

3. 试卷请求 TPS：5 万/s

4. 提交试卷 TPS：1700/s

考试存储架构图：

1. Redis 数据结构设计:

(1) 试卷:

应用场景，题目增加、修改、删除

数据结构: String, Data 为 json 格式的考卷

key 设计: school:course_name:date:index (校名:课程名:年份:学期序号)

例子：zju:math:2021:1

value:

{

"title":"xx 大学 2021 届高数第 1 学期期末考试",

"count:":44,

"item":{

"id1":{"typeid":1,"content":{"item":"系统架构设计，性能越强越好.","T":0,"F":0}},

"id15":{"typeid":2,"content":{"item":"20+30=()","A":30,"B":50,"C":0,"D":20}},

"id44":{"typeid":3,"content":{"item":"介绍下系统架构设计的三大原则.","value":""} }

}

}

其中 count 为题目总数, idn 表示 第几道题目, typeid 1 为判断题，2 为选择题，3 为论述题

(2) 考试:

学生维度: 主要查看自己的成绩单 HBase 储存

key: record:school:学号:date:index:course_name

例子：recorde:zju:04916328:2021:1:math

value: 具体答卷信息

{

"score":89,

"timestamp":1621787562，

"records":{

"id1":1, "id2":0, "id3":1,

"id21":"A", "id22":"C","id40":"D",

"id41":"架构合适原则、简单原则、演变原则.",

"id44":"存储架构设计策略与用户量预估方案."

}

}

查看列表：通过 scan 前缀为 record:zju:04916328 或者补充时间与学期

老师维度: 有聚合类、统计类的需求, 用 MySql 的分析聚合能力。

分库分表设计：

按 学校所在地区(华东、华北)-学校-课程得分表， 具体的课程得分表中，记录每位学习的成绩。

主键: 课程 id, 学生学号

字段：成绩得分

2. 具体的读写流程:

(1) 读试卷流程:

a.学生在开考前 1 分钟，开始请求试卷内容

b.请求流量先到任务调度器，通过轮询，负载均衡到应用服务

c.应用服务通过到 redis 集群获取数据 下发给学生端. (试卷录入后为静态数据，可用采用 redis + memory 的形式，优先从内存获取数据.)

(2) 提交试卷流程:

a.考试结束前 30 分钟内，开始陆续提交试卷.

b.请求流量先到任务调度器，通过学生学号 Hash，负载均衡到应用服务

c.应用服务负责写入 redis, 同时多写一笔到 kafka 消息中间件

d.消费 kafka 答卷数据，写入 MySql.

3. 计算 Redis sentinel 集群的服务器数量和性能:

根据试卷请求 TPS：5 万/s、提交试卷 TPS：1700/s、Redis 单机 TPS 5-10w

服务器数量 为 3 台服务器组成集群，性能能到 15-20w+ TPS