写点什么

架构师训练营第十一周

用户头像
我是谁
关注
发布于: 2020 年 12 月 05 日

一、导致系统不可用的原因有哪些?保障系统稳定高可用的方案有哪些?请分别列举并简述

导致系统不可用的原因可以从用户请求开始到服务器响应的全过程进行查找,包括客户机器(如浏览器版本兼容)、网络(如带宽不够、光纤挖断)、反向代理服务器(如服务器挂了)、负载均衡服务器(如服务器负载均衡策略有问题)、应用服务器硬件及操作系统(如硬件损坏或操作系统中毒)、中间件(如配置不合理)、应用程序(如系统设计不合理,多线程使用不正确)、数据库(如慢查询)等方面。

保障高可用的方案的原则是监控、备份隔离

  • 在监控方面,系统设计监控先行。比如搭建 Prometheus 系统,对整个软硬件环境进行监控,及时发现及时解决

  • 在备份方面,通过无状态的设计,由多套软件和硬件同时提供服务,挂一个另一个也能运行

  • 硬件方面,比如在所有链路上所有提供服务器的机器都采用集群的方案,多台机器可以同时提供服务;

  • 软件方面,比如数据库的主从、主主方案。

  • 在隔离方面,可以采用高内聚低耦合的设计原则对软硬件进行设计

  • 硬件方面,可以采用同城或异地双活的方案

  • 软件方面,可以采用高内聚低耦合的设计原则,将各应用拆分为大小颗粒合适的服务,减少联级反应。合理的隔离后还可以通过熔断、限流、降级等方案对发生故障的服务进行控制,提高整个系统的可用性

最后高可用的方案还必须有完善的制度进行保证。程序或系统设计得再好,如果没有制度保障,那所有设计都会失效。比如 CodeReview、问题响应机制、运维机制等。

二、请用你熟悉的编程语言写一个用户密码验证函数,Boolean checkPW(String 用户 ID,String 密码明文,String 密码密文),返回密码是否正确 boolean 值,密码加密算法使用你认为合适的加密算法


bool checkPW(string userID,string plaintext,string ciphertext){  	return string.Compare(MD5Encrypt(plaintext), ciphertext, false) == 0? true:false;}
/// <summary>/// MD5加密/// </summary>/// <param name="sMessage">需要加密的字符串</param>/// <returns>加密结果字符串</returns>static public string MD5Encrypt(string sMessage){ sMessage=sMessage+"@#Salt2020";//加盐 MD5CryptoServiceProvider md5 = new MD5CryptoServiceProvider(); string pwd = BitConverter.ToString(md5.ComputeHash(System.Text.Encoding.Default.GetBytes(sMessage)), 4, 8);//UTF8Encoding.Default pwd = pwd.Replace("-", "").ToLower(); return pwd;}
复制代码

三、根据当周学习情况,完成一篇学习总结

安全架构

XSS 攻击

Cross-Site Scripting(跨站脚本攻击)简称 XSS,是一种代码注入攻击。攻击者通过在目标网站上注入恶意脚本,使之在用户的浏览器上运行。利用这些恶意脚本,攻击者可获取用户的敏感信息如 Cookie、SessionID 等,进而危害数据安全。

XSS 注入常见的方法:

  • 在 HTML 中内嵌的文本中,恶意内容以 script 标签形成注入

  • 在内联的 JavaScript 中,拼接的数据突破了原本的限制(字符串,变量,方法名等)

  • 在标签属性中,恶意内容包含引号,从而突破属性值的限制,注入其他属性或者标签

  • 在标签的 href、src 等属性中,包含 javascript: 等可执行代码

  • 在 onload、onerror、onclick 等事件中,注入不受控制代码

  • 在 style 属性和标签中,包含类似 background-image:url("javascript:..."); 的代码(新版本浏览器已经可以防范)

  • 在 style 属性和标签中,包含类似 expression(...) 的 CSS 表达式代码(新版本浏览器已经可以防范)

预防攻击套路:

  • 输入过滤:在用户提交时,由前端过滤输入,然后提交到后端。

  • 纯前端渲染:纯前端框架会明确的告诉浏览器内容是文本是属性,还是样式,不容易被执行预期外的代码欺骗

  • HTML 转义:采用合适的转义库,对 HTML 模板各处插入点进行充分的转义。doT.js、ejs、FreeMarker 等库对于 HTML 转义通常只有一定的规则,可以帮助我们把诸如 & < > " ' /等等字符彻底转义。

  • 预防 DOM 型 XSS 攻击:如用 Vue/React 技术栈避免不使用 v-html/dangerouslySetInnerHTML 功能,就在前端 render 阶段避免 innerHTML、outerHTML 的 XSS 隐患。

SQL 注入

所谓 SQL 注入,就是通过把 SQL 命令插入到 Web 表单递交或输入域名或页面请求的查询字符串,最终达到欺骗服务器执行恶意的 SQL 命令

SQL 注入攻击的工作方式是提前终止目标 SQL 文本的字符串,然后追加一个新的命令,主要有两种形式:

  • 直接将代码插入到与 SQL 命令串联在一起并使得其以执行的用户输入变量

  • 间接的攻击方法,它将恶意代码注入要在表中存储或者作为原数据存储的字符串。在存储的字符串中会连接到一个动态的 SQL 命令中,以执行一些恶意的 SQL 代码。

防范 SQL 注入:

  1. 普通用户与系统管理员用户的权限要有严格的区分。

  2. 强迫使用预编译参数绑

  3. 加强对用户输入的验证,使用过滤器过滤常见 SQL 注入脚本

  4. 使用专业的漏洞扫描工具来寻找可能被攻击的点

CSRF 攻击

Cross-site request forgery, 跨站请求伪造。是指黑客引诱用户打开黑客的网站,在黑客的网站中,利用用户的登录状态发起跨站请求。

CSRF 攻击攻击原理及过程如下:

  1. 用户 C 打开浏览器,访问受信任网站 A,输入用户名和密码请求登录网站 A

  2. 在用户信息通过验证后,网站 A 产生 Cookie 信息并返回给浏览器,此时用户登录网站 A 成功,可以正常发送请求到网站 A

  3. 用户未退出网站 A 之前,在同一浏览器中,打开一个 tab 页访问网站 B

  4. 网站 B 接收到用户请求后,返回一些攻击性代码,并发出一个请求要求访问第三方站点 A

防御 CSRF 手段:

  1. 验证 HTTP Referer 字段

  2. 在请求地址中添加 token 并验证

  3. 在 HTTP 头中自定义属性并验证

其他攻击和漏洞

  • Error Code: Web 服务器输出的错误信息,能帮助黑客寻找系统漏洞

  • HTML 注释:显示在客户端 HTML 中的注释给黑客攻击造成便利

  • 文件上传:上传可执行文件可能危及后台程序

  • 路劲遍历:URL 中显示的相对路径,能帮助黑客程序遍历未开放的目录和文件

信息加密

单向散列

单项散列加密的特性是:

  • 根据任意长度的信息计算固定长度的散列值

  • 能快速计算散列值

  • 消息不同散列值不同

  • 通过散列值不能反算出消息

实际应用:

  • 重要信息密文存储(密码+盐后再进行散列计算,存储后可以防止字典攻击)

  • 检测软件是否篡改

  • 基于口令的加密

  • 消息认证码

  • 数字签名

  • 伪随机生成器

  • 一次性口令

对称加密

对称加密就是最传统的加密计算:加密和解密使用同一个密钥。加密解密过程:

  1. 明文->密钥加密->密文

  2. 密文->密钥解密->明文

对称加密算法的优点是算法公开、计算量小、加密速度快、加密效率高,通常在消息发送方需要加密大量数据时使用。由于加解密使用的是同一个密钥,因此如何把密钥安全地传递到解密者手上就成了必须要解决的问题。

非对称加密

对称加密算法又称现代加密算法。非对称加密算法需要一对密钥:公开密钥和私有密。如果用公开密钥对数据进行加密,只有用对应的私有密钥才能解密。如果用私有密钥对数据进行加密,只有用对应的公开密钥才能解密。算法强度复杂,安全性依赖于算法与密钥,但是加密解密速度慢。常用的场景有:登陆认证、数字签名、数字证书等等。

高可用系统的度量

可用性指标

通常用多少个 9 来衡量网站的可用性,如是 4 个 9,即服务 99.99% 可用,只有 0.01% 的时间不可用,也就是一年中只有大约 53 分钟不可用。

  • 网站年度可用性指标 = ( 1 - 网站不可用时间/年度总时间) * 100%

  • 网站不可用时间(故障时间)= 故障修复时间点 - 故障发现(报告)时间点

目前政务信息化的要求一般是 3 个 9。

故障分类管理

故障分类管理通常与考评挂钩,通过故障等级确定严重性,并对当事人按一定权重扣分。

目前在政务信息化此类考核目标较少。

高可用架

运维

发布

网站需要保证 7*24 高可用运行,同时网站又需要不断的发布新功能。

不管发布内容大小都需要在服务器上关闭原有的应用,然后重新部署启动新的应用,整个过程还要求不影响用户的使用。

发布

  • 发布管理:整个发布过程,代码都要通过日常、预发测试才能最终上线,这个过程是需要占用对应服务器并保持稳定

  • 流程控制:为了保证最终上线的代码是正确运行的,整个过程需要测试和 Code Review,必须通过测试、审核才能进入下一个环节

  • 发布反馈:发布脚本需要执行上面提到一系列的过程,这需要一个等待的过程,我们需要实时给发布人员提供发布反馈,并将相关信息保存到日志。

自动化测试

在软件测试中,测试自动化(英语:Test automation)是一种测试方法,使用特定的软件,去控制测试流程,并比较实际的结果与预期结果之间的差异。通过将测试自动化,可以让正式的测试过程中的必要测试,可以反复进行;通过这种方法,也可以将难以手动进行的测试,交由软件来做。

自动化测试主要指四个方向:

  • 单元测试:可以理解为对一个函数、一个组件的测试

  • 接口测试即 API 测试,主要关注提供的接口是否可靠

  • 功能测试可以理解为应用的 UI、功能是否符合预期

  • 基准测试可以帮我们测试代码的性能。

适合适合自动化测试的场景:

  • 需求变动不频繁

  • 项目周期足够长

  • 自动化测试脚本可重复使用

  • 代码规范可测试

常见的自动化测试工具有:

  • 前端测试框架:mocha

  • 断言库:chai

  • 测试覆盖率:Istanbul

  • 测试浏览器:chrome

  • 浏览器驱动:selenium-webdriver/chrome

  • 接口测试 http 请求断言:supertest

  • 基准测试:benchmark

自动化部署

自动化部署就是部署过程中所有的操作全部自动化,无需人工干预,常见的工具有 Gitlab、Jenkins、TeamCity 等等。下面以 Jenkins 为例,简单介绍一介绍一下常见的步骤:

  1. 开发人员于 Git 等源码管理工具上提到 MR

  2. Git 通过 Webhook 或是其他插件触发 Jenkins 拉取源码至其工作空间

  3. Jenkins 构建源码,失败则通知开发人员

  4. 构建成功,则执行单元测试或是其他测试

  5. 测试不过则通知开发人

  6. 测试通过则生成发布包

  7. 再将发布包发布到各个 Web 服务器上


自动化部署

持续部署三步走:

  1. 持续集成:允许工程师随时向公共分支提交代码,并立即进行自动化测试。

  2. 持续交付:除了跑单元测试及软件打包,持续交付机制会将软件部署到各种测试环境中

  3. 持续部署:代码在没有人工干预的情况下被测试、构建、部署并推送到生产环境

其他

  • 灰度发布:大型网站会使用灰度发布模式,将集群服务器分成若干部分,每天只发布一部分服务器,观察运行稳定没有故障,若出现问题则及时回滚

  • 服务器性能监控:收集服务器性能指标,如系统 Load,内存占用,磁盘 IO,网络 IO 等对尽早做出故障预警, 及时判断应用状况,防患于未然,将故障扼杀在萌芽时期非常重要

  • 监控管理:控数据采集后,除了用作系统性能评估、集群规模伸缩性预测等,还可以根据实时监控数据进行风险预警,并对服务器进行失效转移,自动负载调整,最大化利用集群所有机器的资源。


用户头像

我是谁

关注

还未添加个人签名 2017.12.04 加入

十五年电子政务老兵

评论

发布
暂无评论
架构师训练营第十一周