写点什么

千万级学生管理系统的考试试卷存储方案

用户头像
Lane
关注
发布于: 2021 年 05 月 23 日

一、需求

基于模块 4 第 6 课的估算结果和 Redis sentinel 的初步方案设计,完善考试试卷存储方案,具体包括:

1) 完善 Redis 的数据结构设计,明确具体使用哪种 Redis 数据结构

2)设计具体的读写流程(可以文字描述也可以序列图描述,序列图要有文字辅助说明)

3)对照模块 4 第 6 课的性能估算结果,计算 Redis sentinel 集群的服务器数量和性能


二、设计方案

2.1 估算性能需求

1.用户量预估

1000 万用户

2.关键行为

登录注册、文件上传下载、选课、考试

3.行为建模

【登录】

学生管理系统主要管理学生的信息管理、作业、考试等,其中交作业是高频场景,每个学生每天都要交作业。

假设每个学生每天提交 4 次作业,登录的次数就是 1000 万 * 4 = 4000 万,考虑到提交作业一般是在晚上 18:00~22:00,因此

登录 TPS 要求为:4000 万/(4 * 3600) = 3000/s

登录会产生一条登录记录,因此每天有 4000 万条登录记录要存储,登录记录保存 3 个月,总的数据条数为:

4000 万 * 3 * 30 = 36 亿条,每条记录包含学生 ID(4 字节)、登录时间(4 字节)、登录 IP(4 字节),总大小为 36 亿条 * 12 = 43G。

登录记录主要是为了事后查验,学生和老师极少主动去查询学生登录信息,因此读取性能可以忽略。

【注册】

总共 1000 万学生,每年只有新生注册,不同学校新生开学时间是分散的,而且注册可以在入学后完成,因此我们假设每年 250

万新生需要注册,注册时间分散在 9.1~9.30 这 30 天内,则注册每天请求次数为:

250 万 / 30 = 8.3 万,考虑到开学第一天人数会多一点,计算结果调整为 10 万每天,且主要在 12 小时内操作,因此 TPS 计算为:

10 万/(12 * 3600) ≈ 3 /s

学生注册后需要存储学生信息,学生信息主要包含学号(10 字节)、身份证(19 字节)、头像(图片,不超过 1M)、专业(4

字节)、家庭信息(100 字节)等,且学生信息要永久保存,即使毕业后也不能删除,因此存储分为两部分:

在校学生数据存储量 = 1000 万 * 200 字节 = 2G,图片数据:1000 万 * 1M = 10T

离校学生数据存储量 = 按年增长,只做备份,每年的数据 = 1/4 在校学生数据存储量

【考试】

假设每门学科每年 2 次考试,每个学生平均一学期 20 门课,考试采取机考的方式,每门考试的答案 20 判断题、20 选择题、4 道大题(答案 200 字以内),考试结果永久保存,在校学生能够看到自己曾经的考试结果,

则考试结果记录的存储量为:

在校学生:1000 万 * 20(课)* 2(考试次数) * 1000(答案)* 2(学期) * 3(只有前三年考试)= 2.4T

离校学生:每年 250 万,存储量为 0.6T

假设学校的考试都安排在某一个月内,考试的时候请求试卷,提交答案,中间答题过程浏览器本地完成,由于

考试集中在上午 4 小时和下午 4 小时,且请求试卷集中在考试开始的前 1 分钟,提交答案集中在考试结束前的 30 分钟,因此估算如下:

请求试卷:1000 万 * 20(课)/ 20(周末不考试) / 4(每天 4 堂考试)/ 1 分钟 = 250 万请求/分钟 ≈ 5 万/每秒

提交试卷: 1000 万 * 20(课)/ 20(周末不考试) / 4(每天 4 堂考试)/ 30 分钟 = 1700/每秒

汇总

【登录】

1. 登录次数:3000/s

2. 登录记录:存储数据量 36 亿条,存储容量 43G,写入 TPS = 登录 TPS = 3000/s,读取 TPS 无需特别设计

【注册】

1. 注册 TPS = 3/s,可以忽略不计

2. 在校学生数据存储:基本数据 = 2G,图片数据 = 10T

3. 离校学生数据存储:基本数据每年增长 500M,图片数据增长 2.5T

【考试】

1. 在校学生考试结果存储:2.4T,

2. 离校学生考试结果存储:每年增长 0.6T

3. 试卷请求 TPS:5 万/s

4. 提交试卷 TPS:1700/s

2.2 数据结构

使用 String 类型数据结构。

key:课程 id+试卷 id。

value:用 String 类型 整个试卷内容是 json.


2.3 具体的读写流程

  1. 老师选择学校、课程、学期,生成 key

  2. 按题号录入考试内容

  3. 按题号排序存储考试问题内容,每个题目内容通过序列化为 JSON 格式

  4. 修改或者删除时,按题号重新保存内容或者删除

  5. 读取时,通过学校 ID+课程 ID+学期,读取整个考试试卷内容

2.4 Redis sentinel 集群的服务器数量和性能

学生的人数为 1000 万。假设学校的考试都安排在某一个月内,考试的时候请求试卷,提交答案,中间答题过程浏览器本地完成,由于考试集中在上午 4 小时和下午 4 小时,且请求试卷集中在考试开始的前 1 分钟,因此估算如下:


请求试卷:1000 万 * 20(课)/ 20(周末不考试) / 4(每天 4 堂考试)/ 1 分钟 = 250 万请求/分钟 ≈ 5 万/每秒。


单机 redis TPS 5~10 万 QPS 到百万级别。所以一台就可以支持性能 要三台服务器做 redis sentinel 集群,一主二从性能足够。


用户头像

Lane

关注

还有梦想 2018.07.05 加入

还未添加个人简介

评论

发布
暂无评论
千万级学生管理系统的考试试卷存储方案