浅析网络流量分析原理：如何把二进制“天书”变成“人话”

网络流量贯穿业务流转的各个环节，从我们电脑、手机，到数据中心、WEB组件和应用等都需要通过网络流量完成数据交互。因此，网络流量存在着巨大的应用价值。

但原始的网络流量以二进制方式呈现，无法直接读取和应用，因此需要通过相关工具和技术，把网络流量变成更加容易读取的数据信息，进而更好地应用在业务场景中，实现其价值最大化。在这过程中就要对网络流量进行采集、解码和分析。

接下来，我们就来看看如何把天书般的网络流量翻译成“人话”，更好地为我们所用。

本文字数：1639字

不想看文字的同学可以观看视频直接听技术专家讲解

第一步：网络流量采集

采集网络流量需要借助相关工具来实现，如果是临时性抓取网络流量，可以采用一些开源工具，例如Wireshark、Tcpdump等；但如果需要长期对网络流量进行捕获和分析，就需要一些专业的工具了，例如专业的探针设备。

第二步：网络数据包解码

在完成网络流量的采集之后，就要对数据包进行解析。数据包解析的过程，是对二进制比特流中各个位置的字段进行提取和解析的过程。在不同的分析工具和应用场景下，所需要分析的层级是不同的。

首先，根据使用场景的不同，需要解析的层级是不同的

1、网络性能监控场景：如果是用做网络性能的分析，只需要对网络相关层级进行解析即可。对应上图TCP/IP协议模型，即需要对链路层、网络层、传输层进行解析。按照各个字段所在的位置和长度，可以获取报文长度、流量大小、连接数、源IP、目的IP、源端口、目的端口、TCP建连、TCP断连、TCP耗时等网络性能指标。

通过对TCP/IP的解析，可以精准地分析某一个IP、端口、连接的交互状况，这也是网络故障分析至关重要的一个使用场景。例如连接中是否存在网络耗时过长、TCP三次握手成功率低、丢包、传输效率低等情况。

2、应用性能监控场景：如果用作应用性能、交易性能的监控分析，则需要对TCP/IP协议所承载的应用层报文进行解析。从而获得交易渠道、交易代码、交易流水号、交易金额、返回码、交易类型等等业务相关指标信息，经过计算，还可以获得交易量、交易耗时、交易成功率、交易响应率等指标，甚至可以做到单笔交易流水的全流程追踪。

其次，不同数据包类型的解码分析也有所不同

1、通用协议的解码分析：

• 通用协议的解码分析相对容易，TCP/IP作为标准的通信协议，在对数据包链路层、网络层、传输层进行解码时，只需要参照标准格式规范进行解码分析即可；

• HTTP、DNS等通用的应用层协议，也可以参照标准的规范进行解码分析。

2、私有协议解码分析：

• 不同的行业都存在着私有应用层协议，如果协议采用的是标准接口格式，只需要参照标准的格式进行解码分析即可。但并非所有私有协议都会采用标准接口格式进行消息的传输，如果是非标准接口的协议，则需要按照接口规范进行协议解码。

• 对于行业或者用户私有的报文格式，则需要按照其报文封装格式规范进行单独的解码。

• 此外，TCP或者UDP所承载的应用层消息部分，其实包含了大量有价值的信息，例如交易渠道、交易代码、交易流水号、交易金额、返回码、交易类型等等，这是通常解码中容易被忽略的地方。

私有协议解码相对较复杂，为了提升网络数据分析效率，天旦基于大量协议解码经验积累，融和AI技术，开发了Smart Decoder智能解码引擎，无需专业代码编写，即可实现大部分私有协议的可视化智能解码。

 部分天旦智能解码支持的协议

第三步：网络流量数据的应用

对网络流量进行解码分析后，就可以进一步应用在很多场景中了。例如：

1、网络性能监控：利用网络流量数据，可以建立覆盖数据中心重要链路、关键设备、核心服务的监控视图，实时提炼网络性能的关键监控指标，实现精准故障告警与自动化故障诊断。

2、业务性能监控：通过网络流量镜像技术，即可全网采集数据，覆盖传统网络、虚拟化、云环境，实现端到端的一体化业务性能监控，精准及时告警。

3、数据库性能监控：从数据库通讯报文解析的相关指标，可以用于数据库监控，利用网络流量零侵入的方式对数据库的每一笔SQL语句进行监控。

4、业务创新：对网络流量数据中应用层协议进行解码分析，可以获得高价值的业务数据。通过活用业务大数据，实现实时风控、精准营销、商业智能等创新应用。

相关视频推荐：

TCP/IP协议简介及基本原理

扫码即刻观看视频