写点什么

千万级学生管理系统的考试试卷存储方案

作者:sandywrh
  • 2023-07-07
    上海
  • 本文字数:1175 字

    阅读完需:约 4 分钟

1. 性能估算

假设每门学科每年 2 次考试,每个学生平均一学期 20 门课,考试采取机考的方式,每门考试的答案 20 判断题、20 选择题、4 道大题(答案 200 字以内),考试结果永久保存,在校学生能够看到自己曾经的考试结果,

则考试结果记录的存储量为:

• 在校学生:1000 万* 20(课)* 2(考试次数) * 1000(答案)* 2(学期) * 3(只有前三年考试)= 2.4T。

• 离校学生:每年 250 万,存储量为 0.6T。

假设学校的考试都安排在某一个月内,考试的时候请求试卷,提交答案,中间答题过程浏览器本地完成,由于考试集中在上午 4 小时和下午 4 小时,

且请求试卷集中在考试开始的前 1 分钟,提交答案集中在考试结束前的 30 分钟,因此估算如下:

• 请求试卷:1000 万* 20(课)/ 20(周末不考试) / 4(每天 4 堂考试)/ 1 分钟= 250 万请求/分钟≈ 5 万/每秒。

• 提交试卷: 1000 万* 20(课)/ 20(周末不考试) / 4(每天 4 堂考试)/ 30 分钟= 1700/每秒。

 

存储性能需求汇总

在校学生考试结果存储:2.4T

 

离校学生考试结果存储:每年增长 0.6T

 

试卷请求 QPS:5w/s

 

提交试卷 TPS:1700/s

 

试卷存储一年:10M

 

单张试卷:10k

 

2. 选择存储系统


存储架构分析,按场景

l  请求考试试卷

单机能否存所有的试卷?->Yes

单机能否支撑写性能?-> Yes

单机能否支撑读性能?->No

是否需要自动切换?-> 主从切换

 

l  学生考试结果保存

单机能否存所有的试卷?->Yes

单机能否支撑写性能? (1700 TPS, 2.4T )-> No

是否需要分区-> 分区架构

 

l  老师批卷结果保存

单机能否存所有的试卷?->Yes

单机能否支撑写性能? -> Yes

单机能否支撑读性能? -> Yes

是否需要自动切换?-> 主备切换

 

l  在校学生试卷查询

 

单机能否存所有的数据?-> No

是否需要分区? ->分区架构

 

综合各场景考虑:

分区架构

 

3. 设计存储方案

l  考试试卷存储

数据结构设计:

 

存储类型:Redis Sentinel

 

数据类型:string 类型就可以满足需求,且 key-value 都没有超过 redis 使用的建议值。

 

Key:学校 ID:课程 ID:考试 ID

 

Value:试卷格式为 Json,转为 String 进行存储

 

读写分析:

 

老师编写完试卷之后,以学校 ID:课程 ID:考试 ID 为 key 写入到 redis 中。

 

学生开始考试后,根据相应的考试科目,系统读取对应 key 的 value。

 

l  考试批改结果存储

存储类型:HBase

数据结构:

·       key: 学校 ID+学号 ID+考试 ID

·       Column Family: test

·       Column:result,score,其中 result 是 JSON 格式

 

l  学生成绩存储

数据结构设计:

· 存储类型:mySQL (分区)

· Table:total_score

· key: 学校 ID+学号 ID+考试 ID

· Other Column:score

 

4. redis sentinel 集群服务器数量和性能

试卷读取 5w/s,一般 redis kv 能都达到 5w-10w,带宽也在单机范围内,考虑到高可用,使用 redis sentinel。

 

根据上面推算的数据,最终机器为 redis 主一台,redis 从一台,sentinel 三台。


发布于: 刚刚阅读数: 4
用户头像

sandywrh

关注

还未添加个人签名 2017-12-12 加入

还未添加个人简介

评论

发布
暂无评论
千万级学生管理系统的考试试卷存储方案_sandywrh_InfoQ写作社区