本文主要对网络流量安全智能分析系统中的AI关键技术应用及系统的实现和验证进行全面的阐述。本文通过研究实时流量的采集、存储、分析过程，构建安全数据分析模型，将智能化的分析方法应用到网络流量采集与分析中，提高网络威胁与违规行为的精准识别研判能力，从而能够及时发现并追踪溯源潜伏周期更长、攻击手段更加隐蔽的威胁，为应急响应与预警处置提供有力的数据支撑。
１AI在安全领域的应用
AI在安全领域的应用是当前国内外企业技术创新和应用创新的重点。中国工程院院士方滨兴指出了新技术和安全之间存在的两种关系：第一种是新技术服务于安全即新技术赋能安全，既可以服务于防御，也可以服务于攻击；第二种是新技术引入新的安全问题，即新技术和安全是伴生关系。AI作为新技术，既可以赋能网络安全，提升网络防护能力，也可以被恶意利用，增强攻击性和破坏影响力。同时，AI技术自身存在脆弱性，如果被攻击者利用，可能会引发新的安全风险。
２AI在安全领域应用的现状
３AI在网络流量智能分析中的应用
3.1系统功能架构
通过对积累的异常行为和网络攻击的数据特征进行深入研究，将研究结果用于网络流量深度检测，可以突破目前的瓶颈，增强对未知威胁的识别能力和上报能力。按照流程，网络安全流量智能分析系统需将采集到的数据进行处理后入库，然后从数据库中提取要分析的数据，使用智能分析模块进行分析，最终提供异常行为监测、威胁监测，以及数据共享配置管理。系统功能架构如图1所示。
图1功能架构
3.2系统软件架构
按照体系架构的设计，软件实现上划分为数据采集、数据汇入、存储计算、数据智能分析、安全应用5个部分。软件架构如图2所示。
图2系统软件架构
数据采集层通过探针实时接收全流量数据，并实时进行流量智能识别。收集到的数据，通过数据接入接口，进入数据汇入层。在数据汇入层实现数据的预处理、数据入库，并进行相应的数据治理，比如提供数据源的管理和监控。
存储计算层，提供分布式的存储与计算环境，以及资源调度机制。
数据智能分析层可以提供检索分析、智能安全分析和调查分析。其中的智能安全分析，可以在智能模型的基础上，提供关联分析、深度分析、行为分析、机器学习等分析类型。同时可以对模型进行统一的任务管理、调控和智能修正等操作。
安全应用层使用基础的智能分析工具，提供专项监测，如异常行为监测、威胁监测、安全监测，并提供数据共享的配置管理。
3.3系统关键技术
网络流量安全智能分析中，主要结合并应用的AI关键技术如下文所述。
3.3.1基于自学习的网络威胁特征轮廓扫描技术
流量自学习扫描是为了扫描出正常状态下的网络基线，在流量学习中最重要的是学习配置结构。学习配置结构是描述学习方式及学习结果应用方式，主要包含配置学习周期时长、学习次数（包括无限次）、扫描策略生成方式、扫描策略自动生成条件等。
3.3.2隐蔽恶意流量检测技术
很多恶意攻击者对安全规则、内控措施非常了解，他们很清楚哪种操作实施到哪种程度会触发报警。因此，恶意人员会通过降低非法操作行为的次数和规模，潜藏在正常流量中以避免被传统安全系统检测到，达到隐蔽攻击的目的，而传统的检测方式难以检测此类隐蔽威胁。隐蔽恶意流量检测技术通过利用长周期分流量行为进行构建，将行为特征进行横向与纵向对比，检测长期低频等隐蔽恶意流量行为。
3.3.3基于隐马尔科夫的行为序列建模技术
基于隐马尔科夫的行为序列建模技术首先提取网络流量数据中的行为特征作为当前被检测用户的行为特征；其次提取训练序列的行为特征，建立正常序列库，并训练序列的马尔科夫链状态集，计算该马尔科夫链状态的转移概率矩阵，以此来描述用户的正常行为；最后将被检测用户的行为特征与历史行为特征进行对比，判断当前行为是否为异常行为：如果两者的偏离超过一定阈值，则认为是异常的；如果两者的偏离在正常范围内，则认为正常。
3.3.4异常登陆行为检测技术
针对账号的异地登陆、频繁登陆进行检测，通过对安全域过滤、维度过滤、条件过滤等算子的研究，对异常登陆行为进行识别。
3.3.5恶意链接检测技术
常见的网络攻击中，恶意链接经常扮演着重要角色，并被广泛应用到各种类型的攻击中，如钓鱼、垃圾邮件、SQL注入以及恶意软件。传统的识别方法是基于黑名单检测和规则检测，但黑名单具有漏判严重、时效性低的缺点，而规则检测容易被攻击者绕过。恶意链接检测技术基于机器学习算法，通过分析恶意链接的特点提取关键特征进行训练，可以弥补黑名单和规则检测的不足。
3.3.6基于大数据的分布式关联分析技术
将异常流量、异常行为、潜在威胁等分析结果作为输入数据的同时，接入各种其他类型的数据，如安全日志、流量数据、资产数据、漏洞数据、威胁情报数据等，并使用基于大数据的分布式关联分析技术、图计算技术等，实现追踪溯源，以及实现高级持续性攻击、定向攻击等场景分析。
４系统的实现、演示和验证
4.1演示验证环境
为了验证网络流量安全智能分析系统的数据采集、存储、深度分析、智能识别威胁和实时监测异常流量的能力，需对网络流量安全智能分析系统进行功能验证与安全场景的演示验证。网络流量安全智能分析系统在实际验证过程中，部署于单位网络出口处。网络流量安全智能分析系统在演示验证环节，使用系统最小部署模式，如图3所示。
图3网络流量安全智能分析系统演示验证部署
4.2系统分析模型
通过针对网络特点进行安全场景的构建和对数据分析模型的研究，并综合运用通用的智能分析方法和威胁识别技术，如表1所示，构建了网络流量安全智能分析系统中常用的网络安全场景下的数据分析模型、实现思路和运用的智能算子的对应关系。
表1数据模型、实现思路和运用的智能算子对应表
4.3关键指标验证
５应用场景
本系统的研究成果可应用于以下场景：（1）面向大规模网络的全维流量智能分析。可进行分布式的、多网络节点的全维流量采集，由系统生成分析模型，自动感知网络明文流量中的异常行为、异常流量并及时报警，识别非法应用协议、网络攻击行为，提升用户应对应用系统异常行为的处理效率。（2）面向网络空间作战的未知威胁深度检测。利用该系统可提升未知威胁的发现能力，并且可以灵活扩展威胁识别算法，从而提高检测的准确性，并能够告警上报未知的恶意代码和异常行为。（3）面向高级持续性威胁的网络攻击溯源分析。系统使用智能化的数据模型从全流量数据中分析出攻击者的路径和所处的攻击阶段，对持续性威胁进行追踪和溯源分析。（4）全局网络安全预警。系统可对网内各个关键节点中的潜在恶意行为、攻击行为综合监测，对监测结果及时响应和上报，通过协同防御手段进行安全预警，实现全局防护。
６结语
本文将智能化分析方法应用到网络流量采集与分析中，可以提高复杂网络的实时监测能力，提高网络威胁与违规行为精准识别研判能力，能应对潜伏周期更长、攻击手段更加隐蔽的威胁。本文设计的网络流量安全智能分析系统能够及时发现安全威胁并追踪溯源，可以为应急响应与预警处置提供有力的数据支撑。本文方案的应用目标是达到网络流量分析的智能化，通过建立网络流量安全智能分析模型，自动感知网络明文流量中的异常行为、异常流量并及时报警，识别非法应用协议、网络攻击行为。