伴随着大数据、人工智能、物联网、云计算、工业互联网等新技术、新业务的快速发展，网络流量迎来爆炸性增长。网络流量中承载的庞大业务信息(支付信息、账号信息等)所反映出来的数据是最为直观、真实和有效的。面对越来越多的线上业务，网络、应用、数据的安全问题也相互交织，保障网络高效、稳定、安全运行给每个企业都带来了前所未有的压力和挑战。

那么如何来评估网络的运行质量？如何在网络发生故障时来快速定位问题范围？如何在数百套业务中实时获取它们的交易质量？如何回溯某一次攻击，来查看其完整的攻击路径及都有哪些主机收到了影响？等等。这些问题我们日常运维中都有遇到，可能通过各种技术也获得了解决，在这里提供一种更高效的解决方法——网络流量分析。

那么什么是网络流量分析呢？简而言之，就是记录、审查和分析网络流量数据的过程。目的是为了检查网络在安全性、操作、管理或网络健康状况方面的表现。作为网络管理者，可以通过手动或自动化的技术来执行网络流量分析，以查看网络流量统计信息和粒度级别的详细信息。安全研究员也可以使用相同的技术来分析网络流量模式，以便更快的发现漏洞或进行攻击溯源。作为应用管理员，可以通过解析数据包来查看业务请求/响应的快慢等信息。

那网络流量该如何获得呢？网络流量采集在传统方式下可以通过路由器、交换机镜像口或分光器获取，比较简单高效。在虚拟化或云环境下就需要相应的流量采集插件，比如开源的有 packetbeat、packet-Agent 等方式。

针对网络流量分析的方式，有手动和自动两种方式，在实际场景中往往是这两种方式相互配合使用。

手动方式平时我们也会用到，就是 Wireshark、sniffer、colasoft、Tcpdump 等。但是 Wireshark、Tcpdump 受到内存、存储、网卡和全流量采集性能限制，无法满足千兆、万兆业务链的网络流量分析，手动方式主要安装在笔记本上，适用于人工分析小流量的深度分析。

自动化方式是使用专用网卡、内存、存储，并且已经进行软硬件适配和调优的高性能服务器，支持实时网络流量存储，具有分析引擎、解码引擎、行为模型、自动化分析模型等，能分析到网络交互中每一个会话。可以集中进行网络流量分析，也可以分布式部署在不同数据中心、区域、节点网络环境中，然后可以将多中心、多区域、多节点的数据来进行关联分析。

通过网络流量分析概念不难看出，其主要两个大的场景为性能监测与诊断和安全分析，下面我们将根据日常中的使用来细化这些场景。

1. 性能监测与诊断

1.1 网络性能可视

这里所说的网络流量分析系统是一款可以提供高性能流量采集、大容量存储且具有智能分析算法的硬件平台。可以灵活的部署在网络的任何位置，一般在 DMZ 区、Web 区、核心区等，来对这些区域的网络数据包进行实时捕获与分析。

一般的网络性能可视化我们抽象为从链路、设备、应用三方面来覆盖。

链路的定义重点在内部网络中各个互联设备之间的线路。

设备的定义基本上为出口路由器、核心防火墙、分区交换机、负载均衡等对业务正常运行起关键作用的设备。

应用的定义是对现有网络中运行的正常业务系统进行持续覆盖，逐步减少未知流量。

同时系统也可以提供各种维度的性能参数指标，包括如下：

负载量：吞吐量(bps)、并发连接数、包率(pps)等

网络性能：重传、乱序、网络时延、丢包等。

应用性能：零窗口、服务器响应时间等。

应用可用性：SYN、SYN&ACK、建连成功率等。

通过上述四个维度的参数指标，可以将网络流量按链路、设备、应用系统三方面来构建直观的性能视图，伴随着流量增加这是一个持续完善的过程。

1.2 访问关系梳理

如果我们的服务并不多（如在 10 个以内），那么很好管理这些服务。但是如果是成百上千个服务接口，那么这些服务的访问关系就变得错综复杂。一般企业都有会 CMDB 来记录这些关系，但随着业务系统的迭代加快，难免会有遗漏或者滞后性。所以我们可以用流量分析来辅助进行访问关系梳理，这样可以帮助我们针对新上线系统的保障，也可以对防火墙策略进行验证，去除无效的控制策略。同时梳理好的业务链，可以帮助我们快速定位故障点和确定数据包丢失的位置，节省了大量的排障时间。

1.3 线路质量监控

面对越来越多的线上业务开展、公有云的使用普及等，互联网、专线及分支机构线路的质量便成了企业的生命线。通过流量分析可以从以下几点实现对线路质量的实时监控分析。

1、针对带宽的精细化告警：可以配置各种级别的告警来监控带宽使用率，一旦触发告警可以快速跟踪分析；

2、秒级数据展示：一般监控的设备是通过采样实现，数据要依托于采样的频率，而流量分析可以实现秒级数据，方便查看每一次线路抖动。

3、流量成分快速识别：基于我们已经定义好的应用，一旦有突发，就可以快速判断哪种应用占比较多，是否正常。如是未知的应用，则可以快速查看其对应的 IP 和端口等信息。

1.4 协议解码分析

不同网络数据包类型的解码分析也有所不同。

1、通用协议的解码分析：

通用协议的解码分析相对容易，TCP/IP 作为标准的通信协议，在对数据包链路层、网络层、传输层进行解码时，比如 HTTP、DNS、SMTP、FTP 等通用的应用层协议，直接使用 wireshark、sniffer 等流量分析工具就可以解析。

2、私有协议解码分析：

不同的行业都存在着私有应用层协议，如果协议采用的是标准接口格式，比如 XML、JSON 等，只需要参照标准的格式进行解码分析即可。但并非所有私有协议都会采用标准接口格式进行消息的传输，如果是非标准接口的协议，则需要按照接口规范进行协议解码。对于行业或者用户私有的报文格式，则需要按照其报文封装格式规范进行单独的解码。这一般就需要流量分析产品内置的解码库或解码引擎来解析。

此外，TCP/UDP 所承载的应用层消息部分，其实包含了大量有价值的信息，例如请求 url、交易代码、交易流水号、交易金额、返回码、用户信息等等，这是通常解码中容易被忽略的地方。

1.5 业务性能评估

企业内的系统都是逐步建设起来，尤其是金融行业，会有各种各样的自建系统，大多数系统的开发商都不同，那如何用同一标准来衡量业务系统的健康状况，便是一个难题。

这里我们可以通过流量分析设备，解析每一类业务系统的交互报文，提炼出关键字段，然后针对该字段根据时序变化，用请求量，响应率、成功率、响应时间这四个指标来实时刻画该系统的运行状况，依次类推，便可以对全网业务系统性能进行统一评估。

1.6 敏捷开发上线

随着去“IOE”的进行，信创产品的推进，很多企业都面临着系统的迁移与适配，比如用 X86 云架构替换 IBM 的小型机集群、操作系统从 AIX 变为麒麟 Linux、数据库从 Oracle 变成国产分布式数据库。如何进行通过回归测试，快速验证生产系统功能继承性，则可以使用流量分析技术将生产环境真实数据解析后转化相应格式在新平台新系统上进行模拟回放验证，利用技术敏捷带动业务敏捷。

1.7 快速故障诊断

网络的稳定运行和排障基本就是网络团队的绝大部分工作，如果关键业务的应用程序出现故障，业务程序无法正常使用，一般查线路情况，查应用日志，查服务器进程、查看数据库等等，需要协调很多技术人员，花费很多宝贵的时间，有时也不一定能解决问题。尤其一些偶发性的，还需要等待下一次故障发生。

     我们将常见网络故障分为以下四类：

     流量突发(40%)：比如连接数高、异常访问、攻击、病毒等。

     三次握手和四次挥手问题(42%)：比如端口复用、操作系统连接池满、建连失败等。

     传输问题(15%)：比如防火墙问题、负载均衡问题、访问缓慢等。

     传输效率(3%)：比如应用配置错误、网卡问题等。

     当正确掌握了网络流量分析、梳理好网络流量的业务访问链路，这些问题就可以迎刃而解，可以快速定位故障点、处理及恢复，节省大量宝贵时间，提升工作效率。

2. 安全分析

2.1 异常流量监测

在市面上已经存在 IDS/IPS、WAF、防火墙等多种解决南北向流量问题产品的情况下，网络流量监测与分析产品依然被企业关注并需要的原因在于大多的安全产品强调威胁可视化，网络流量正是黑客入侵及其它威胁行为发生时会随之产生的重要特征。通过对网络流量的行为分析，强调对于异常流量行为的实时监测，更快发现威胁，弥补其它安全工具的不足之处，例如高频攻击、恶意软件入侵、内网横移、数据外泄、僵尸网络、恶意挖矿、网络蠕虫和高级威胁所产生的恶意流量。

2.2 攻防演练实战

在攻防演练中，不论攻击成功与否，攻击行为的载体只可能是网络流量。因此，网络流量分析技术也可以说是蓝军的一张王牌，通过对正常业务与威胁行为模式进行建模，能够在第一时间发现入侵事件，甚至还原整个攻击流程。近年来，为促进和推动国家重大活动网络安全和国家关键信息基础设施安全防护工作，利用网络流量展开的攻防对抗逐渐成为趋势。

2.3 等保要求满足

1、满足等保保护 2.0 中应对网络系统中的网络流量进行日志记录。eg：GB/T 22239-2008 7.1.2.3

2、满足等级保护 2.0 中针对重要的用户行为的审计需求，等级保护 2.0 中明确要求对重要用户行为进行审计，且审计颗粒度要求高，要求记录操作类型、操作结果、操作时间等业务明细。eg：GB/T 22239-2019 8.1.4.3

3、满足等级保护 2.0 中针对攻击流量记录的相关需求，要求能够存储和检索攻击流量，要求支持云环境。eg：GB/T 22239-2019 8.2.3.2

4、满足信息安全技术网络安全等级保护测评要求中部署网络回溯系统。 GB/T 28448—20XX 7.1.2.5.1、8.1.2.5.3 、9.1.2.5.3

网络流量分析产品可以提供网络数据全量追溯能力：当发生攻击时，提供技术手段进行攻击行为的分析和回放。同时提供业务行为审计能力：对业务数据进行审计，细颗粒度记录重要用户行为，实现事后查询和分析。

2.4 联动态势感知

网络安全态势感知是一种基于环境动态地、整体地洞悉安全风险的能力，它利用数据融合、数据挖掘、智能分析和可视化等技术，直观显示网络环境的实时安全状况，为网络安全保障提供技术支撑。安全要素采集是获取与安全紧密关联的海量基础数据，包括流量数据、各类日志、漏洞、木马和病毒样本等。

网络流量分析产品可以作为前端的流量数据源，来和态势感知系统联动。从而规范呈现的网络安全基本要素，如流量基线、网络攻击态势、安全事件及告警态势和应急处置业务态势等宏观性基本要素。

2.5 辅助资产梳理

对资产的梳理不仅靠台账、CMDB，它们的更新存在滞后性和不准确性。通过当前的流量分析，可发现当前上线业务系统，同时甄别出哪些业务系统是违规上线系统，并减少暴露面，降低未知风险点，来弥补 CMDB 资产台账的不足。

重点梳理范围：互联网及内网业务系统、主机资产、网络资产、网络边界、核心系统。

重点清查：违规上线、无主资产、漏管资产，确保重保资产全覆盖，对未认领的资产进行封堵。

在信息资产梳理的基础上，对存在安全威胁长期不修复、所占用资源长期处于空闲状态、运行维护停止更新服务、已完成工作使命且无继续使用必要、系统使用与实际业务流程长期脱节的“僵尸”信息系统进行清理，采取限制互联网访问或关停等措施，消除安全隐患。

2.6 攻击范围评测

常见的网络流量中的攻击有：

1、由于早期的网络协议考虑不完善而造成的协议安全隐患，如 BGP 协议攻击、CDP 协议攻击等；

2、由于恶意并发请求而造成的拒绝服务攻击（DDoS），如 SYN Flood、DNS 反射攻击等；

3、各种探测扫描，如 IP 扫描、端口扫描、漏洞扫描等；

4、APT 和 C&C 通信，如 DNS tunnel 等；

5、 可解密的应用协议攻击，如 HTTP 攻击等。

基于网络流量分析可以直观看到攻击流量的占比，分析攻击流量的来源，查看影响的范围，包含哪些主机和系统，进一步确定攻击源的攻击行为与明细和影响范围，消除已产生的受损情况，并评估整体危害程度。

2.7 溯源取证验证

完整的安全事件溯源分析，需要捕获自网络发送的每一比特、每一字节。完整的内容分析能以某种方式看到网络流量的各个部分，如借助 WireShark 类的工具，可以在 OSI 模型的任意层级挖掘每个元素。哪些可能无法被其他工具检测出的特定项目，可以通过这种方式找到。借助完整内容，分析人员可以对完整内容重新执行流量分析和特征分析，例如在某次调查中提取了新的 C2 流量特征，可以对较早的网络流量完整内容重新扫描这条新特征。

网络流量分析系统可以对安全事件进行识别，并快速追踪定位到存在安全问题的主机，对该事件进行进一步的核实审查与数据取证，并为安全策略设置提供决策依据，同时还可以帮助用户建立安全基线，全面降低用户的网络安全风险。

面对当今网络的复杂性与多样性，网络流量分析技术可以帮助我们更加方便掌控和高效处理大规模的网络架构，更多的场景还需要在实践中细化与挖掘。