架构师训练营 -week04- 总结

本周重点学习了一个大型的互联网系统会具备什么样的特点和挑战，它的架构是如何演化以及解决的。然后通过三个实际案例，讲述了互联网系统的发展历程。

1. 互联网系统的特点

互联网系统的特点就是：高并发、大流量、海量数据、用户分布广泛、网络情况复杂，以及安全环境恶劣，同时还需要快速发布，频繁变更。

我们所要做的就是保证这个系统的高性能、高可用、易扩展、可伸缩，以及安全性。所以说，互联网架构模式就是这些问题，被很多互联网应用重复使用的一些解决方案，这些解决方案是互联网软件系统的重要组成部分。

• 高性能

性能是互联网的一个重要指标，除非是没得选择，否则用户无法忍受一个响应缓慢的应用。一个打开缓慢应用会导致严重的用户流失，很多时候系统性能问题是系统架构升级 优化的触发器。可以说性能是互联网系统架构设计的一个重要方面，任何架构设计方案 都必须考虑可能会带来的性能问题。

也正是因为性能问题几乎无处不在，所以优化网站性能的手段也非常多，从用户端到数 据库，从代码到机房部署，影响用户请求的所有环节都可以进行性能优化。

• 高可用

因为互联网分布式系统使用的服务器硬件通常是普通的商用服务器，这些服务器的设计目标本身并不保证高可用，也就是说，很有可能会出现服务器硬件故障，也就是俗称的 服务器宕机。大型互联网系统通常都会有上万台服务器，每天都必定会有一些服务器宕机，因此系统高可用架构设计的前提是必然会出现服务器宕机，而高可用设计的目标就 是当服务器宕机的时候，服务或者应用依然可用。

系统高可用的主要手段是冗余，应用部署在多台服务器上同时提供访问，数据存储在多 台服务器上互相备份，任何一台服务器宕机都不会影响应用的整体可用，也不会导致数 据丢失。

• 易扩展

不同于其他架构要素主要关注非功能性需求，扩展性架构直接关注系统的功能需求。互联网应用快速发展，功能不断扩展，如何设计系统的架构使其能够快速响应需求变化， 是系统可扩展架构主要的目的。

衡量系统架构扩展性好坏的主要标准就是在系统增加新的业务产品时，是否可以实现对现有产品透明无影响，不需要任何改动或者很少改动既有业务功能就可以上线新产品。 不同产品之间是否很少耦合，一个产品改动对其他产品无影响，其他产品和功能不需要 受牵连进行改动。

可扩展架构的主要手段是事件驱动架构和分布式服务。

• 可伸缩

大型互联网应用通过集群的方式将多台服务器组成一个整体共同提供服务。所谓伸缩性是指通过不断向集群中加入服务器的手段来缓解不断上升的用户并发访问压力和不断增 长的数据存储需求。

衡量架构伸缩性的主要标准就是是否可以用多台服务器构建集群，是否容易向集群中添加新的服务器。加入新的服务器后是否可以提供和原来的服务器无差别的服务。集群中 可容纳的总的服务器数量是否有限制。

• 安全

互联网是开放的，任何人在任何地方都可以访问系统。系统的安全架构就是保护系统不 受恶意访问和攻击，保护网站的重要数据不被窃取。

衡量系统安全架构的标准就是针对现存和潜在的各种攻击与窃密手段，是否有可靠的应 对策略。

2. 互联网系统架构策略

所以我们对应的策略一般包括：

• 2.1 分层

分层是企业应用系统中最常见的一种架构模式，将系统在横向维度上切分成几个部分，每个部分负责部分相对比较单一 的职责，然后通过上层对下层依赖和调用组成 一个完整的系统。

• 2.2 分割

如果说分层是将软件在横向方面进行切分，那么分割就是在纵向方面对软件进行切分。系统越大,功能越复杂，服务和数据处理的种类也越多，将这些不同的功能和服务分割开来，包装成高内聚低耦合的模块单元，一方面有助于软件的开发和维护;另一方面，便于不同模块的分布式部署,提高网站的并发处理能力和功能扩展能力。

• 2.3 分布式

对于大型网站，分层和分割的一个主要目的是为了切分后的模块便于分布式部署，即将不同模块部署在不同的服务器上，通过远程调用协同工作。分布式意味着解决同样的问题可以使用更多的计算机，计算机越多，CPU、内存、存储资源也就越多，能够处理的并发访问和数据量就越大。

网站中常用的分布式方案如下:

a.分布式应用与服务：

将分层、分割后的应用与服务模块分布式部署，除了可以改善网站性能与并发性、加快开发与发布速度、减少数据库连接资源消耗外；还可以使不同的应用复用共同的服务，便于业务功能扩展。

b.分布式静态资源：

网站静态资源如JS、CSS、图片等独立分布式部署，并采用独立的域名，即人们常说的动静分离。这样可以减轻应用服务器的负载压力；通过独立域名访问加快浏览器并发加载的速度；由负责用户体验的团队进行开发与维护，使不同技术工种术业有专攻。     

c.分布式数据和存储：

大型网站有海量数据，单台计算机无法提供如此大的存储控件，所以需要进行分布式存储。存储方式除了传统的关系数据库进行分布式部署外，还可以使用各种NoSQL产品。

d.分布式计算：

除了应用、服务、实时数据这些在线业务外，还有很多后台业务要处理，比如搜索引擎的索引构建、数据仓库、的数据分析统计等。这些业务的计算规模很庞大。目前网站普遍使用Hadoop及其MapReduce分布式计算框架进行此类批处理计算，其特点是移动计算而不是移动数据，将计算程序分发到数据所在位置以加速计算和分布式计算。

• 2.4 集群

为了提高系统的并发能力和高可用性，需要将独立部署的服务器集群化，即多台服务器部署相同的应用构成集群，通过负载均衡对外提供服务。

• 2.5 缓存

缓存就是将数据存放在距离计算最近的位置以加快处理速度。缓存是改善软件性能的第一手段，现代CPU越来越快的一个重要因素就是使用了更多的缓存，在复杂的软件设计中，缓存几乎无处不在。使用缓存除了可以加快数据访问速度，还可以减轻后端应用和数据存储的负载压力。

网站常用的缓存方案有：

a. CDN：内容分发网络，部署在距离终端用户最近的网络服务商。这里缓存网站的一些静态资源（较少变化的数据），如视频网站和门户网站会将用户访问量大的热点内容缓存在CND。

b. 反向代理：部署在网站的前端，这里缓存网站的静态资源，使用户请求无需转发给应用服务器就能返回给用户。

c. 本地缓存：在应用服务器本地缓存着热点数据，应用程序可直接在本机内存中直接访问数据而无需访问数据库。

d. 分布式缓存：由于大型网站数据量非常大，本地缓存不能存储过多数据，此时需要分布式缓存，将缓存存在一个专门的分布式缓存集群中，应用程序通过网络通信访问缓存数据。

• 2.6 异步

业务之间的消息传递不是通过同步调用的，而是将一个业务操作分为多个阶段，每个阶段之间通过共享数据的方式异步执行进行协作的。

异步架构使典型的生产者消费者模式，两者之间不存在直接调用，这对网站扩展新功能提供便利。

• 2.7 冗余

       为保证服务器宕机的情况下网站依然可以继续服务，不丢失数据，需要服务器的冗余运行，数据冗余备份：

a. 服务器可以通过集群搭建来实现服务高可用。

b. 数据库除了定期备份的冷备份外，为了保证在线业务高可用，还需要对数据库进行主从分离，实时同步实现热备份。

c. 更进一步，还可以在全球范围内部署灾备数据中心，对整个数据中心进行备份，网站程序和数据实时同步到多个灾备数据中心。

• 2.8 自动化

在无人值守的情况下网站可以正常运行，-切都可以自动化是网站的理想状态。目前互联网的自动化架构设计主要集中在运维方面。

发布过程自动化包括：

a. 自动化代码管理

b. 自动化测试

c. 自动化安全检测

d. 自动化部署

线上生产环境自动化包含：

a. 自动化监控（对服务器进行心跳检测，监控其各项性能指标和应用的关键数据指标）

b. 自动化报警（发现异常如超出预设阈值时，向相关人员发送报警信息）

c. 自动化失效转移（将失效的服务器从集群中移除出去）

d. 自动化降级（网站超出最大处理能力时，可通过拒绝部分请求及关闭不重要的服务将系统负载降至一个安全水平）

e. 自动化分配资源（将空闲资源分配给重要的服务，扩大其部署规模）

• 2.9 安全

互联网的开放特性使得其从诞生起就面对巨大的安全挑战，网站在安全架构方面也积累了许多模式：

• 通过密码和手机校验码进行身份认证;

• 登录、交易等操作需要对网络通讯进行加密，网站服务器上存储的敏感数据如用户信息等也进行加密处理;

• 为了防止机器人程序滥用网络资源供给网站，网站使用验证码进行识别;

• 对于常见的用于攻击网站的XSS攻击，SQL注入，进行编码转换等相应处理;

• 对于垃圾信息、敏感信息进行过滤;

• 对转账交易等重要操作根据交易模式和交易信息进行风险控制。

3. 互联网系统通用架构

一个比较通用的互联网系统架构如下，在后续的课程里会更加详细的学习这些内容：

具体的架构和优化技术如下列表：

• 前端架构

• App及Web开发技术

• 浏览器及 HTTP 优化技术

• CDN

• 动静分离

• 图片服务

• 反向代理

• DNS

• 网关及应用层架构

• 网关架构

• 负载均衡

• 动态页面静态化

• 业务拆分

• 服务层架构

• 微服务框架

• 分布式消息队列

• 分布式缓存

• 分布式一致性(锁)服务

• 存储层架构

• 分布式文件

• 分布式关系数据库

• NoSQL 数据库

• 后台架构

• 大数据平台

• 搜索引擎

• 推荐引擎

• 数据仓库