典型大型互联网应用系统的技术方案和手段
一个典型的大型互联网应用系统是随着业务规模的逐渐扩大,系统架构设计方案也在随之进行调整,在业务发展的不同阶段关注的重点也有所不同,所以在何时选择什么样的技术方案需要视具体情况而定。
1. 互联网应用系统的特点
要选择合适的技术方案,首先就需要了解互联网应用系统的特点,只有了解了互联网应用系统的特点,才能更好地理解业务并选择适合(并不一定是最适合)的技术方案和手段。
由于互联网开放的特性,导致互联网应用系统不可能像企业级应用一样,它面临的环境更加复杂,面向的用户群体更加多样,为了迎合市场的变化必须能够快速地响应市场,这就要求一个好的互联网系统在高并发的环境下能够做到低延迟、高可用、高防护、快响应。
与传统软件产品或者企业级应用系统不同,几乎所有的大型互联网应用都是从小功能逐渐发展起来的,无法在开始时就规划好业务功能与非功能需求,好的互联网产品需要逐步慢慢地运营,业务需求也是在逐步的发展中适应市场的需要的。
衡量一个互联网系统架构的核心要素:
1.1 高性能
性能是互联网的一个重要指标,除非是没有选择,否则用户无法忍受一个响应缓慢的应用。
一个打开缓慢的应用会导致严重的用户流失,很多时候系统性能问题是系统架构升级优化的触发器。
可以说性能是互联网系统架构设计的一个重要方面,任何架构设计方案都必须考虑可能会带来的性能问题。
也正是因为性能问题几乎无处不在,所以优化网站性能的手段也非常多,从用户端到数据库,从代码到机房部署,乃至业务流程调整等影响用户请求的所有环节都可以进行性能优化。
1.2 高可用
因为互联网分布式系统使用的服务器硬件通常是普通的商用服务器,这些服务器的设计目标本身并不保证高可用,也就是说,很有可能会出现服务器硬件故障,也就是俗称的服务器宕机。
大型互联网系统通常都会有上万台服务器,每天都必定会有一些服务器宕机,因此系统高可用架构设计的前提是必然会出现服务器宕机,而高可用设计的目标就是当服务器宕机的时候,服务或者应用依然可用。
系统高可用的主要手段是冗余,应用部署在堕胎服务器上同时提供访问,数据存储在多台服务器上互相备份,任何一台服务器宕机都不会影响应用的整体可用,也不会导致数据丢失。
1.3 可伸缩
大型互联网应用通过集群的方式将多台服务器组成一个整体共同提供服务。
所谓伸缩性是指通过不断向集群中加入服务器的手段来缓解不断上升的用户并发访问压力和不断增长的数据存储需求。
衡量架构伸缩性的主要标准:
是否可以用多台服务器构建集群;
是否容易地向集群中添加新的服务器;
加入新的服务器后是否可以提供和原来地服务器无差别的服务;
集群中可容纳的总的服务器数量是否有限制。
1.4 可扩展
不同于其它架构要素主要关注非功能性需求,扩展性架构直接关注系统的功能需求。
互联网应用快速发展,功能不断扩展,如何设计系统的架构使其能够快速响应需求变化,是系统可扩展架构的主要目的。
可扩展架构的主要手段是事件驱动架构和分布式服务。
衡量系统架构扩展性好坏的主要标准:
在系统增加新的业务产品时,是否可以实现对现有产品透明无影响;
不需要任何改动或者很少改动既有业务功能就可以上线新产品;
不同产品之间是否低耦合,一个产品改动对其它产品无影响,其它产品和功能不需要牵连进行改动。
1.5 安全
互联网是开放的,任何人在任何地方都可以访问系统。系统的安全架构就是保护系统不受恶意访问和攻击,保护网站的重要数据不被窃取或修改。
衡量系统安全架构的标准:针对现存和潜在的各种攻击和窃密手段,是否有可靠的应对策略。
2. 互联网应用系统高并发下的扩展技术方案
高并发请求下为了能够保证系统能够提供更加强大的服务处理能力,在不同的业务发展阶段可以采取垂直伸缩和水平伸缩两种技术方案。
2.1 垂直伸缩
垂直伸缩是指通过提升服务器硬件配置和网络吞吐能力,在不改变系统架构架构的情况下,快速提升应用服务能力。这种技术方案有着简单、快速、短期有效的特点,同时也有着明显的缺点,即:单服务的配置扩展不可能做到无限扩展,随着业务的逐步增大,成本的投入与收到的效果也会呈现指数级的增长,操作系统的设计和应用程序自身也同样制约着这种扩展能力只能达到某一个点。
垂直伸缩可以通过以下方案来提升系统能力:
通过使用RAID(独立冗余磁盘阵列)增加I/O吞吐能力;
通过切换到SSD(固态硬盘)改善I/O访问速度;
通过增加内存减少I/O操作;
通过升级网络接口或者增加网络接口提高网络吞吐能力;
更新服务器使用更多的处理器或者更多超线程,提高服务器计算能力。
2.2 水平伸缩
水平伸缩 是指通过增加服务器提升计算能力的一类架构方法。水平伸缩可以克服垂直伸缩带来的单位计算成本随计算能力增加而迅速飙升的问题,水平伸缩总是可以增加更多的服务器,不会受到单台服务器的极限限制。但是并不是说水平伸缩方案就一定优于垂直伸缩,系统架构技术方案选型一定要结合实际的业务情况,选取最有效的解决方案。
3. 互联网架构技术手段
3.1 分层
分层是企业应用系统中最常见的一种架构模式,将系统在横向维度上切分成几个部分,每个部分负责一部分相对比较单一的职责,然后通过上层对下层依赖和调用组成一个完整的系统。
3.2 分割
如果说分层是将软件在横向方面进行切分,那么分割就是在纵向方面对软件进行切分。
系统越大,功能越复杂,服务和数据处理的种类也越多,将这些不同的功能和服务分割开来,包装成高内聚低耦合的模块单元,一方面有助于软件的开发与维护;另一方面便于不同模块的分布式部署,提高软件的并发处理能力和功能扩展能力。
3.3 分布式
对于大型网站,分层与分割的一个主要目的是为了切分后的模块可以分布式部署,即将不同模块部署在不同的服务器上,通过远程调用协同工作。
分布式意味着解决同样的问题可以使用更多的计算机,计算机越多,CPU/内存/存储资源也就越多,能够处理的并发访问和数据量就越大。
分布式应用和分布式服务
分布式静态资源
分布式数据和存储
分布式计算
3.4 集群
使用分布式虽然已经将分层和分割后的模块独立部署,但是对于用户访问集中的模块,比如网站首页,还需要将独立部署的服务器集群化,即多台服务器部署相同应用构成一个集群,通过负载均衡设备对外提供服务。
3.5 缓存
缓存就是将数据存放在距离计算最近的位置以加快处理速度,缓存是改善软件性能的第一手段,现代CPU越来越快的一个重要因素就是使用了更多的缓存,在复杂的软件设计中,缓存几乎无处不在。大型网站架构设计在很多方面都使用了缓存设计。
CDN
反向代理
本地缓存
远程缓存
3.6 异步
计算机软件发展的一个重要目标和驱动力是降低软件耦合性。
事物之间越少直接关系,那么就越少被彼此影响,越可以独立发展。
大型网站架构中,系统解耦合的手段除了前面提到的分层、分割、分布等手段,还有一个重要手段是异步,就是将一个业务操作分成多个阶段,每个阶段之间通过共享数据而不是直接调用的方法进行协作。
提高系统可用性
加快网站响应速度
消除并发访问高峰
3.7 冗余
互联网引用需要7×24小时连续运行,但是服务器总有可能会出现故障,特别是服务器规模比较大的时候,服务器宕机是必然事件。
要想保证在服务器宕机的情况下网站依然可以继续服务,数据不会丢失,就需要一定程度的服务器冗余运行,数据冗余备份。
3.8 自动化
在无人值守的情况下网站可以正常运行,一切都可以自动化是网站的理想状态。
目前互联网的自动化架构设计主要集中在运维方面。
3.9 安全
互联网的开放特性使得其从诞生起就面对巨大的安全挑战,网站在安全架构方面也积累了许多模式:
通过密码和手机校验码进行身份认证;
登录、交易等操作需要对网络通讯协议进行加密;
网站服务器上存储的敏感数据如用户信息等也进行加密处理;
为了防止机器人程序滥用网络资源供给网站,网站使用验证码进行识别;
对于常见的用于攻击网站的XSS攻击,SQL注入,进行编码转换等相应处理;
对于垃圾信息、敏感信息进行过滤;
对转账交易等重要操作根据交易模式和交易信息进行风险控制。
4 互联网技术架构一览
4.1 前端架构
APP与Web前端开发技术
浏览器及HTTP优化技术
CDN
动静分离
图片服务
反向代理
DNS
4.2 网关及应用层架构
网关架构
负载均衡
动态页面静态化
业务拆分
4.3 服务层架构
微服务框架
分布式消息队列
分布式缓存
分布式一致性(锁)服务
4.4 存储层架构
分布式文件
分布式关系型数据库
NoSQL数据库
4.5 后台架构
大数据平台
搜索引擎
推荐引擎
数据仓库
4.6 运维与安全
数据采集与展示
数据监控与报警
攻击与防护
数据加密与解密
评论