导言:作为写作爱好者,不可错过为您精心挑选的10篇网络流量分析的方法,它们将为您的写作提供全新的视角,我们衷心期待您的阅读,并希望这些内容能为您提供灵感和参考。
1.1网络流量的统计分析
(1)基于软件的流量统计
这种统计分析一般通过修改安装于主机上的操作系统的网络接口模块,使之具有捕获数据包的功能,以实现流量信息的收集和分析。基于硬件的流量统计效率很高,专用性强,但是价格昂贵对人员要求高,而基于软件的流量统计有价格便宜,实现灵活,扩展性强的优点,但其性能要低于基于硬件的统计技术。因此,流量统计方法有待进一步的提高,以适应网络快速发展的需求。
(2)基于硬件的流量统计
此类分析通常采用硬件测量设备,是一种为特定目的设计的用于收藏和分析流量数据的硬件设备。
1.2网络流量的粒度分析
网络流量行为特征的分析还可以在不同测量粒度或者不同的层面上展开。
2.网络流量分析常用技术
随着计算机技术的发展,网络流量分析技术也与时俱进。既有传统的数据库的网络管理技术,也有面向开放式互联网的网络分析技术。目前,在网络流量分析中占据主流的常用分析技术主要有:
2.1RMON技术
RMON(远程监控),是由IETF定义的一种远程监控标准,RMON是对SNMP标准的扩展,它定义了标准功能以及网管站和远程监控器之间的接口,实现对一个网段乃至整个网络的数据流量的监视功能。RMON监控器叮用两种方法收集数据:一种是通过专用的RMON探针(Probe),流量探针安装方便,但是流量探针价格昂贵,不适合大面积部署。另一种方法是将RMON直接植入网络设备(路由器、交换机、HUB等),但这种方式受网络设备资源限制,一般不能获取RMONMIB的所有数据,大多数只收集统计量、历史、告警、事件等四个组的信息。
2.2SNMP技术
SNMP是用标准化方法定义的,通常一个标准的网管系统包括三个组成部分:SNMP协议,这包括理解SNMP操作、SNMP消息的格式以及如何在应用程序和设备之间交换信息;管理信息结构,它是用于指定一个设备维护的管理信息的规则集;管理信息库,它是设备所维护的全部被管理对象的结构集合。基于SNMP的流量分析就是通过SNMP协议访问设备获取MIB库中的端口流量信息,典型工具有MRTG,MRTG是一个使用的免费软件,通过SNMP协议从设备得到流量信息,将流量负载情况绘制成PNG格式图片,并以WEB形式显示给用户。由于MRTG使用起来很方便,能够直观显示端口流量负载,所以是各类网管人员常用的网络监视工具。但MRTG的功能比较单一,其收集到的流量信息仅是简单的端口出、入流量统计信息,不能深入分析包的类型、流向等信息。
2.3sFlow技术
sFlow是由InMon﹑HP和FoundryNetworks于2001年联合开发的一种网络监测技术,它采用数据流随机采样技术,可提供完整的第一层到第四层,甚至全网络范围内的流量信息,可以适应超大网络流量(如人于10Gbit/s)环境下的流量分析,让用户详细、实时地分析网络传输流的性能、趋势和存在的问题。sFlow技术有很多优点:成本低廉;在不断发展升级当中,能在没有消耗额外资源的环境监测万兆网络,不会带来新的网络冲突;有自己的一套准确可靠的计量方式;数据信息量人。sFlow已经成为一项线速运行的“永远在线”技术,可以将sFlow技术嵌入到网络路由器和交换机ASIC芯片中。与使用镜像端口、探针和旁路监测技术的传统网络监视解决方案相比,sFlow能够明显地降低实施费用,同时可以使实现而向每一个端口的全企业网络监视解决方案成为可能。
3.网络流量分析技术的应用
网络流量分析起着一个衔接的作用,主要利用网络流量测量部分收集到的各种流量信息,通过运用不同的方法对其进行分析和建模,以发现流量的特性,对网络性能做出客观的评价,并以此作为对网络进行控制和优化的依据。网络流量分析技术的应用主要包括以下儿个方面:
3.1实施安全预警
网络流量异常会严重影响网络性能,造成网络拥塞,严重的甚至会网络中断,使网络设备利用率达到100%无法响应进一步的指令。通过对网络内流量的实时分析,有助于及时发现网络中出现的异常流量,迅速分析出异常流量的具体属性,并向网络管理者进行告警,判断是否出现了入侵,并按照事先拟定的规则集进行处理,记录异常情况发生时的详细网络状况,使入侵得到及时发现和处理。
3.2分析用户行为
根据分析结果,进行相应网络内容的建设!将用户感兴趣的热点信息内容放到内部网络,减轻互联链路的压力。
3.3节省运营费用
3.4优化网络结构
通过对网络中一些特定流量的长期监控,获得网络流量数据后对其进行统计和计算。从而得到网络及其主要成分的性能指标,定期形成性能报表,并维护网络流量数据库或日志存储网络及其主要成分的性能的历史数据,可供网管人员正确分析网络使用状况,对网络及其主要成分的性能进行性能管理。通过数据分析获得性能的变化趋势,分析制约网络性能的瓶颈问题。
3.5评估网络价
通过对各个分支网络出入流量的监控,分析流量的大小﹑去向及内容组成,了解各分支网络占用带宽的情况。从而反映其占用的网络成本,也可以了解其业务开展情况,并作出价值评估。
3.6确定重点客户
通过对重要应用和大客户的流量进行统计分析。掌握重要应用和大客户的流量状况,进行网络带宽的成本分析。有助于在网络服务质量和网络成本之间取得最佳平衡。
4.网络流量分析的重要性
相对于网络管理人员来说,理解用户的网络行为网络流量的内容是网络管理的重要内容,它为日常网络管理﹑容量规划与未来网络升级等提供重要依据,通过网络流量分析,可以提供大量详尽的数据,供网管人员从很多方面进行更好地维护﹑优化网络,并且提升网络的性能;同时还能为业务应用层面提供数据依据,为特定客户提供流量分析服务。比如网站流量统计分析等;也可作为网络安全的辅助手段,处理网络病毒等异常事件。在病毒分析时,网络管理员需要知道哪些端口发送的数据发生了较大变化,因此,对网络流量的分析可以为网络的运行和维护提供重要信息和深层次的管理功能,很好地发挥网络管理作用。对于网络性能分析﹑异常监测﹑链路状态监测﹑容量规划等发挥着重要作用。为网络发展和网络优化提供更优质﹑更有效的技术支撑和技术服务,可以预见,随着网络的发展,流量分析工作将在网络管理中起到越来越重要的作用。
参考文献
近年来宽带网络一直保持高速增长,光纤到桌面已基本实现,但网络中巨大的流量会对网络产生怎样的影响,这些流量是如何构成的,始终是一个问题。通过对宽带流量的分析我们可以知道流量的源头和目的、知道协议分布、知道端口情况、知道通信经营指标等、当然最重要的还有数据的安全性。
宽带流量的分析和检测首先要进行流量的采集,这项工作可以通过交换机或路由器的镜像端口实现,也可以通过光缆分光的方式实现。对捕获的数据进行计算和统计,并把统计数据写入数据库,定期形成网络性能和流量参数的报表,用作分析的依据,在形成足够数量的报表数据后,可以分析数据和系统性能变化的趋势,判断网络是否存在瓶颈,并依据经验,形成经验数据库,使网管系统具备学习的基础和能力。在出现告警或异常情况时,可用来分析对比,判断是否出现了网络的攻击和入侵,判断恶意数据出现的源头和特征,足够数量的数据报表也可以指导各类应急预案的制定,在出现异常情况时可按照事先拟定的规则进行处理。
网络流量的分类和分析中对于标准协议的分析最为准确,可根据TIP/IP协议簇中标准的服务端口号对流量报文进行匹配,并根据端口号的不同将流量对应为不同的应用。非标准协议可以使用DPI(深度包检测)在应用层对流量进行特征字符串的分析匹配,由于不同的应用在TCP/UDP的数据包中包含特征字符串,因此在掌握的不同网络应用的特征字符串后,可以将网络流量精确的分类和匹配,缺点是需要消耗较多的系统资源。但很多网络应用的特征字符串难找易变,代表性差及加密度高等问题,也导致误检率和检全率下降。流量分析监控和网络应用的发展一直是不断演变的矛盾。
基于协议的分类方法需要分析每种协议的特定的行为特性,标准的通信协议易于掌握,私有协议比如P2P或VOIP等基于软硬件客户端的应用则会有较多的变化,或进行加密使用就会影响流量分析的效果,甚至无法识别。有时同一应用软件的不同版本间也会出现不同的流量特征,即版本的变化会造成协议特征的变化。另外,网络中的单向流量、数据的时延、抖动都会对流量分析的算法产生影响。以上这些因素都是流量分析的难点和痛点。
运营商的骨干网络逐渐向扁平化发展,网络出口的数量增加和结构日趋复杂,及动态路由算法的大量使用,使得网络流量在多条链路或多个不同ISP之间动态调配,导致在某个观察点只能得到部分流量,这对于依赖双向流量特征的分析方法无法实施。基于P2P的应用目前也在不断扩大,P2P的发展使得应用和传输分离,应用端点和传输分离,打破了原有的B/S或C/S的传统传输模式,多源头并发传输使得流量特征模糊化,使得数据采集的有效性无法保障。还有一些网络应用为了逃避被检测到,常常采用已知协议的方法,例如FTP、HTTP、POP3等,由于IP地址的区分,冒用已知协议并不会影响正常网络通信,但给流量分析带来很大难度。
宽带网络流量分析不仅可以使我们可以清楚的知道网络流量的内容,还可以为网络建设、网络优化、运营管理、网络安全保障提供依据和手段。同时,网络应用在不断推陈出新,各种私有化的协议和加密方法不断出现,且由于用户接入带宽的不断提高,核心网流量呈几何速度增长,这些因素在客观上也大大增加了网络流量分析的难度和成本。现有的网络流量分析再次面临挑战,网络流量的分析研究工作需要不断深入进行。
[1]NaderF.Mir.计算机与通信网络[M].潘淑文,等,译.北京:中国电力出版社,2010,1.
随着网络技术的不断发展及网络应用的不断推广,校园网规模日益扩大且网结构与应用日趋复杂,如何对校园网进行全面有效的监控是目前网络管理面临的巨大挑战,这给校园网网络监控技术带来了广阔的研究领域,网络监控技术的核心技术就是对网络中的流量进行即时准确的分析,本文首先对常用的流量分析技术进行简单的介绍。又重点介绍了sFlow技术,针对sFlow的特点,在校园网中部署了一个基于sFlow技术与Juniper网络设备的网络监控系统,并对系统如何实现网络监控进行了描述,此系统可实时有效的对校园网流量进行分析,对校园网管理有很大的实用价值。
1流量分析技术介绍
当前能对网络的流量进行分析的类型主要有以下两种:
1.1点接触型流量分析
点接触型流量分析技术的原理为:在网络中的某个接入点上,利用探针检测该接入点的每个pack-age,所利用的方法为逐个包拆分,并在检测的同时完成统计。点接触型流量分析的优点为:此技术中流量的采集只依赖于探针的包处理机制,与网络中使用何种类型的交换机没有关联;由于本技术采用逐个包拆分的方法,所以可自主制定策略来满足用户的需求。缺点为:接入点的个数有限,只能对有限的点进行数据的采集,如果想在网络的所有关键点布置接入点,成本较大;在关键接入点串入网络流量采集设备,会增加网络的故障点。采用点接触型流量分析的代表设备为:IDS,FLUKE测试等。
1.2面接触型流量分析
面接触型流量分析技术的原理:利用交换机固有的流量采集来完成报文中关键信息的统计工作[1]。面接触型流量分析的优点为:此技术不同于点接触型流量分析,无需在网络的关键接入点上布置探针,只需要布置一台交换机设备用以流量采集统计,即可采集分析核心层流量,并不影响整个网络的性能;此技术可在网络的任一点上采集整个网络的流量;整个校园网中,只需布置一套监控系统,成本低。缺点为:此技术采集的数据只局限于某种类型的package的采样值,而不是包的全部,相较于点接触型流量分析来说,采集的数据较少。采用面接触型流量分析的代表设备为:NET-FLOW监控,sFlow监控等。当前CERNET校园网都是万兆核心层网络平台,根据前面对两种流量分析技术的介绍可知,相较于点接触型流量分析技术,面接触型在采集与分析如此巨大网络流量时,有显而易见不比拟的优势。本文采用当前较主流的sFlow监控系统完成校园网网络流量的采集与监控。
2sFlow技术应用
2.1sFlow技术介绍
sFlow,是由InMon公司于2001年提出的一种基于“统计采样”的网络流量监测技术[2],以RFC3176[3]文件的形式进行了。sFlow通过对校园网中网络设备处理的package进行采集来获取网络中流量的信息,之后把采集后的数据包发送给流量分析服务器进行分析,让用户详尽与实时地知道网络的性能与安全等问题[4]。目前,仅有Foundry和JuniperNetworks等厂商的部分型号的交换机支持sFlow。sFlow的主要优势在于:进行整个网络监视成本更低;拥有的“一直在线技术”能够对网络流量进行实时采集与分析能力;嵌入到ASIC中的强劲技术;全网的视图都是可看见的;采样的速率是可以自主配置的;整个网络的交换性能不受影响;网络带宽基本不受影响;包头的信息是完整的;第二到七层的详细信息是完整的并且支持多种协议。
2.2实现原理
sFlow的网络流量监测实现一般由两部分构成:sFlow(Agent)和sFlow流量采集器(Collector)[2]。sFlow系统的基本原理为:分布在校园网的sFlow把sFlow报文发送到Collector。
2.3sFlow技术
3结语
要实现对网络全面、实时的监控分析必须依靠先进有效的网络监控协议和技术来满足业务日益增长的需求。sFlow网络技术的出现可以很大程度满足当前及未来几年校园网络发展规模,为我们网络管理员的日常巡检维护带来了极大的方便,也为保障校园网络的安全、稳定、高效运行提供了很好的依据。
网络管理中非常重要且非常基础的一个环节就是网络流量监测,网络流量监测即是通过对网络数据的连续采集,以此来监测网络的流量。网络及其重要成分的性能指标也是对网络流量数据的统计和计算得到的。网络管理员根据当前的和历史的存储网络及其重要成分的性能的数据数据,就可对网络及其主要成分的性能进行性能管理,通过数据分析获得性能的变化趋势。分析制约网络性能的瓶颈问题。在网络流量监测的基础上,管理员可对感兴趣的网络管理对象设置阈值范围以配置网络阈值对象,阈值对象监控实时轮询网络获取定义对象的当前值。若超出阀值的上限和下限则报警,帮助管理员发现网络瓶颈,这样即可实现一定程度上的故障管理,而网络流量监测本身也涉及到安全管理方面的内容。所以,研究网络流量监测是非常有意义的。
2网络流量的特性
2.1数据流是双向的,但通常是非对称的。互联网上大部分的应用都是双向交换数据的,因此网络的流是双向的。但是两个方向上的数据率有很大的差异,这是因为从网站下载时会导致从网站到客户端方向的数据量比另外一个方向多。
3网络流量的监测技术与方法
3.1网络流量的监测技术种类
(1)基于流量镜像协议分析。流量镜像(在线TAP)协议分析方式是把网络设备的某个端口(链路)流量镜像给协议分析仪,通过7层协议解码对网络流量进行监测。与其他3种方式相比,协议分析是网络测试的最基本手段,特别适合网络故障分析。缺点是流量镜像(在线TAP)协议分析方式只针对单条链路,不适合全网监测。
(2)基于硬件探针的监测技术。硬件探针是一种用来获取网络流量的硬件设备,使用时将它串接在需要捕捉流量的链路中,通过分流链路上的数字信号而获取流量信息。一个硬件探针监视一个子网(通常是一条链路)的流量信息。对于全网流量的监测需要采用分布式方案,在每条链路部署一个探针,再通过后台服务器和数据库,收集所有探针的数据,做全网的流量分析和长期报告。与其他的3种方式相比,基于硬件探针的最大特点是能够提供丰富的从物理层到应用层的详细信息。但是硬件探针的监测方式受限于探针的接口速率,一般只针对1000M以下的速率。而且探针方式重点是单条链路的流量分析,Netflow更偏重全网流量的分析。
(3)基于SNMP的流量监测技术。基于SNMP的流量信息采集,实质上是测试仪表通过提取网络设备Agent提供的MIB(管理对象信息库)中收集一些具体设备及流量信息有关的变量。相似的方式还包括RMON。与其他的方式相比,基于SNMP的流量监测技术受到设备厂家的广泛支持,使用方便,缺点是信息不够丰富和准确,分析集中在网络的2、3层的信息和设备的消息。SNMP方式经常集成在其他的3种方案中,如果单纯采用SNMP做长期的、大型的网络流量监控,在测试仪表的基础上,需要使用后台数据库。
(4)基于Netflow的流量监测技术。Netflow流量信息采集是基于网络设备(Cisco)提供的Netflow机制实现的网络流量信息采集。Netflow为Cisco之专属协议,已经标准化,并且Juniper、extreme、华为等厂家也逐渐支持,Netflow由路由器、交换机自身对网络流量进行统计,并且把结果发送到第3方流量报告生成器和长期数据库。一旦收集到路由器、交换机上的详细流量数据后,便可为网络流量统计、网络使用量计价、网络规划、病毒流量分析,网络监测等应用提供计数根据。Netflow方式是网络流量统计方式的发展趋势。在综合比较四种技术之后,不难得出以下结论:基于SNMP的流量监测技术能够满足网络流量分析的需要,且信息采集效率高,适合在各类网络中应用。
3.2网络流量的监测方法
一、前沿
选择交换机硬件时,应确定核心层、分布层和接入层分别需要何种交换机来满足网络带宽需求,应考虑未来的带宽需。应购买合适的交换机硬件来满足当前及未来的带宽需求。为了更准确地选择合适的交换机,要定期执行和记录流量分析。
二、流量分析
三、分析工具
四、用户群分析
用户群分析是确定各类用户群体及其对网络性能的影响的过程,用户的分组方式会影响与端口密度和流量有关的问题,进而影响网络交换机的选择。
在典型的办公楼中,一般根据终端用户的职能对其进行分组,这是因为相同职能用户所需访问的资源和应用程序也大体相同。每个部门的用户数、应用程序需求以及需要通过网络访问的可用数据资源各有不同。不仅要查看网络中指定交换机上的设备数量,还应该调查终端用户应用程序生产的网络流量。有些用户群使用产生大量网络流量的应用程序,而其他用户则不然,通过测量不同用户群使用的所有应用程序所生成的网络流量并确定数据源的位置,可以确定增加用户对该用户群的影响。
小企业中工作组大小的用户群仅用几台交换机提供支持,通常连接到服务器所在的交换机上。在中型企业中,用户群由许多交换机提供支持。中型企业用户群所需的资源可能位于地理上分散的若干区域中。因此,用户群的位置会影响数据存储和服务器的位置。分析用户群的应用程序使用率的难题之一是使用率并非纯粹取决于用户所在的部门或地理位置。还需要分析应用程序穿越多台网络交换机所带来的负面影响。并据此确定总体影响。
五、数据存储和数据服务器分析
在分析网络流量时,应考虑数据存储和服务器的位置,以便确定它们对网络流量的影响。数据存储可以是服务器、存储区域网络(SAN)、网络连接存储(NAS)、磁带备份设备或任何其他存储大量数据的设备或组件。
在考虑数据存储和服务器的流量时,应同时考虑客户端到服务器的流量和服务器到服务器的流量。通过观察不同用户群使用的各种应用程序的数据路径,可以找到潜在的瓶颈,确定在哪些地方因为带宽不足会影响应用程序的性能。为改善性能,可以聚合链路来提供带宽,或者使用能够处理流量负载的快速交换机来取代慢速交换机。
六、拓扑结构图
拓扑结构图是网络基础架构的图形表现形式,拓扑结构图显示所有的交换机如何互连,乃至详细到哪个交换机端口与设备互连。拓扑结构图以图形的形式显示交换机之间用于提供灾难恢复和性能增强的任何冗余路径或聚合端口,显示网络中交换机的位置和数目并标出交换机的配置。通过拓扑结构图,可以直观地找到网络流量的潜在瓶颈,可以抓住流量分析数据的要点,知道哪些网络区域的改进能够最有效地提高网络的整体性能。
七、结语
对于中小型企业而言、基于数据、语音和视频的数字通信至关重要。因此,正确设计局域网是企业日常运营的基本需求。作为网络技术人员,必须能够判断什么才是设计合理的局域网,能够选择合适的设备来满足中小型企业的网络需求。
中图分类号:TP
文献标识码:A
1网络流量的特征
1.1数据流是双向的,但通常是非对称的
互联网上大部分的应用都是双向交换数据的,因此网络的流是双向的。但是两个方向上的数据率有很大的差异,这是因为从网站下载时会导致从网站到客户端方向的数据量比另外一个方向多。
1.2大部分TCP会话是短期的
1.4网络通信量具有局域性
2网络流量的测量
网络流量的测量是人们研究互联网络的一个工具,通过采集和分析互联网的数据流,我们可以设计出更加符合实际的网络设备和更加合理的网络协议。计算机网络不是永远不会出错的,设备的一小点故障都有可能使整个网络瘫痪,或者使网络性能明显下降。例如广播风暴、非法包长、错误地址、安全攻击等。对互联网流量的测量可以为网络管理者提供详细的信息以帮助发现和解决问题。互联网流量的测量从不同的方面可以分为:
2.1基于硬件的测量和基于软件的测量
基于硬件的测量通常指使用为采集和分析网络数据而特别设计的专用硬件设备进行网络流的测量,这些设备一般都比较昂贵,而且受网络接口数量,网络插件的类型,存储能力和协议分析能力等诸多因素的限制。基于软件的测量通常依靠修改工作站的内核中的网络接口部分,使其具备捕获网络数据包的功能。与基于硬件的方法比较,其费用比较低廉,但是性能比不上专用的网络流量分析器。
2.2主动测量和被动测量
被动测量只是记录网络的数据流,不向网络流中注入任何数据。大部分网络流量测量都是被动的测量。主动测量使用由测量设备产生的数据流来探测网络而获知网络的信息。例如使用ping来估计到某个目的地址的网络延时。
2.3在线分析和离线分析
有的网络流量分析器支持实时地收集和分析网络数据,使用可视化手段在线显示流量数据和分析结果,大部分基于硬件的网络分析器都具有这个能力。离线分析只是在线地收集网络数据,把数据存储下来,并不对数据进行实时的分析。
2.4协议级分类
对于不同的协议,例如以太网(Ethernet)、帧中继(FrameRelay)、异步传输模式(AsynchronousTransferMode),需要使用不同的网络插件来收集网络数据,因此也就有了不同的通信量测试方法。
3网络流量的监测技术
根据对网络流量的采集方式可将网络流量监测技术分为:基于网络流量全镜像的监测技术、基于SNMP的监测技术和基于Netflow的监测技术三种常用技术。
3.1基于网络流量全镜像的监测技术
网络流量全镜像采集是目前IDS主要采用的网络流量采集模式。其原理是通过交换机等网络设备的端口镜像或者通过分光器、网络探针等附加设备,实现网络流量的无损复制和镜像采集。和其它两种流量采集方式相比,流量镜像采集的最大特点是能够提供丰富的应用层信息。
3.2基于Netflow的流量监测技术
Netflow流量信息采集是基于网络设备提供的Netflow机制实现的网络流量信息采集。
1引言
2关键技术
⑴数据流。数据流是指输入数据a1,a2,..按顺序到达。这些数据描述了一个信号A。A是一个一维函数A:[1...N]R2。模型取决于ai如何描述A。本文把数据流技术和传统的网络管理技术相结合,取得了较好的应用效果。
⑵流量监测原理。网络流量监测有主动监测和被动监测两种不同的实现方法。主动测量方法是向被测网络中注入附加的“探测流量”并进行返回数据的采集来实现监测的方法,该如果处理不当,也会给网络增加额外的负荷,影响测量结果的客观性,甚至使测量结果不准确,产生Heisenburg效应。而被动测量方法是在网络的某点采集、记录并且分析网络的流量信息来实现测量的方法。被动测量可以完全消除附加的“探测流量”和Heisenbutg效应,这是被动测量的优点,但存在可能会涉及隐私和安全问题的不足。由于Internet上大多数数据传输是不加密的,鉴于被动监测的优点,本系统采用基于数据包捕获的被动监测技术。
⑶winpcap。在网络管理与安全防护中,对网络数据流量进行分析,是非常重要的一个任务,从防火墙到攻击检测系统,都会用到类似功能。开发此类软件过程相当复杂。而winpcap(indowspacketcapture)是windows平台下一个免费公共的网络访问系统。它提供了以下的各项功能:
1>捕获原始数据报;2>按照自定义的规则将某些特殊的数据报过滤掉;3>在网络上发送原始的数据报;4>收集网络通信过程中的统计信息。
3系统架构
无论是基于网络安全,还是基于网络计费系统的改进,网络数据流量分析无疑是必要的,人们对网络依赖很强。网络数据流量系统的架构包括三层:数据层(浏览统计、数据库管理)、访问应用层、展现层(在线统计器、流量统计器、网络速度监视器)。
4系统设计
⑴网络监视器。网络监视器是监视网络通信的,其主要工作有三项:winpcap捕捉包、包分析、记录。
1)winpcap捕捉包。在网络包捕获系统的实现中,采用的是WINPCAP包捕获应用系统框架。网络监听模块将网络接口设置为混乱模式,将网络上传输的数据包截取下来,供协议分析模块使用。由于效率的需要,有时要根据设置过滤网络上的一些数据包,如特定IP,特定MAC地址、特定协议的数据包等。网络监听模块的过滤功能的效率是该网络监听的关键,因为对于网络上的每一数据包都会使用该模块过滤,判断是否符合过滤条件。
为提高效率,数据包过滤应该在系统内核里来实现。获得数据包之后,如果在捕获过程结束后创建了两个线程实现对捕获数据的实时性处理。
2)包分析。包分析指将捕捉来的数据报进行分析。由于要进行流量统计需要很多必要的信息,作为统计依据,如IP地址、协议类型等。其中,数据长度可由函数调用返回的内容得到而且此时得到的是实际在网上的包长度。
⑵流量统计器。流量统计器,是对流量监视器的记录结果进行统计,将网络监视器的记录文件内容读出,并根据网址分割标准及源和目的地分别统计出流向网外的国内和国外流量,并将结果按照日期分别存储在数据中。
5系统实现
⑴捕捉包的实现。包捕捉作为一个独立的应用程序运行,它从网上截获包,并以文件形式将有用信息记录下来,为流量统计准备统计的原始依据。
⑵在线统计的实现。ping利用了原始套接口技术发送ICMP回射请求,并接收工CMP回射应答。Socket是CP/IP编程的底层API(网络编程接口)。在实现ping后可以将其作为一个函数调用,就很容易实现在线统计。
经济飞速发展的同时,科学技术也在不断地进步,网络已经成为当前社会生产生活中不可或缺的重要组成部分,给人们带来了极大的便利。与此同时,网络系统也遭受着一定的安全威胁,这给人们正常使用网络系统带来了不利影响。尤其是在大数据时代,无论是国家还是企业、个人,在网络系统中均存储着大量重要的信息,网络系统一旦出现安全问题将会造成极大的损失。
1基本概念
1.1网络安全态势感知
1.2DPI技术
2新型DPI技术在网络安全态势感知领域的应用
2.1协议识别特征库
2.2流量“白名单”
3新型DPI技术中数据标准
4新型DPI技术面临的挑战
面向服务架构(SOA)将应用程序的不同功能单元包装成“服务(Service)”,通过这些服务之间定义良好的接口和协议联系起来。接口采用中立的方式定义,独立于具体实现服务的硬件平台、操作系统和编程语言,使得构建在各种这样系统中的服务可以使用统一和通用的方式进行通信。这种具有中立接口定义的特征称为服务之间的松耦合。面向服务架构是一种软件体系结构的思想,它需要依赖具体的实现技术。本文采用Web服务分布式管理(WSDM)标准来支持面向服务架构的实现。
为了解决网络环境下管理系统和基础设施的协同工作以及管理集成问题,OASIS组织在IBM、HP、CA等著名公司的大力支持下,于2005年3月推出了Web服务分布式管理(Webservicesdistributedmanage-ment,WSDM)标准,对WebService管理提供标准化的支持,通过使用WebService来实现对不同平台的管理。
WSDM是一个用于描述特定设备、应用程序或者组件的管理信息和功能的标准。所有描述都是通过Web服务描述语言进行的。WSDM标准实际上是由两个不同的标准组成的,WSDM-MUWS标准以及WS-DM-MOWS标准。
WSDM作为一种功能强大的分布式系统集成解决方案,其主要特点如下:
(2)实现分离。由于采用与实现操作无关的WSDL语言定义接口,使得接口与服务实现了分离,所以无论Web服务其内在实现细节如何改变都不会对客户端的操作方式有任何影响。这样做不但较好地封装了管理方法的实现细节,而且实现了对已有资源的重用。
(3)服务的可组合性。WSDM能随着应用环境规模的变化而变化,首先,WSDM标准的自身实现只需定义较少的属性和操作,使得其在小规模的系统中可以得到稳定的应用:其次,对于大规模应用环境而言,WSDM可以随着应用需求的变化灵活地添加某些服务。从而在使用者和部署人员之间起很好的协调作用。
(4)模型的兼容性。主要表现在WSDM能描述和封装任何资源模型(如cIM、SM-NP、SID等),并为其提供相应的Web服务接口。
2系统设计方案
网络流量采集使用了三种技术:
(1)基于网管设备MIB的SNMP模式;
(2)基于网络探针技术的IP流量数据捕获模式;
(3)基于NetFlow技术的数据流捕获模式。
针对基于SNMP模式,实现基于WSDM的SNMP网关,通过该网关收集SNMP设备上的MIB信息;针对基于网络探针技术模式,可实现基于WSDM的网络探针服务;针对基于NetFlow技术模式,流量数据是通过NetFlow的主动式数据推送机制获得的,网络设备中的NetFlow是通过规范的报文格式将流量数据送往指定主机,WSDM服务提供了接收和传输NetFlow流量数据的功能。
2.1系统架构
流量监测系统结构可划分为三个层次,即资源层、管理服务层、展示层,如图2所示。
(1)资源层
资源层由提供流量采集服务的分布式流量采集器(WSDMAgent)组成,它们通过调用管理服务层的WSDMAgent注册服务实行自主注册,具备向管理服务层主动汇报、自主管理和主动服务等功能。
(2)管理服务层
管理服务层包括应用组件、服务组件、管理平台以及数据库。其中应用组件是对展示层提供支持的各种
管理服务,包括策略管理模块、WSDMAgent管理模块、流量数据管理模块以及流量分析模块等系统功能实现的模块。服务组件是对资源层的各种WSDMAgent资源的支持,包括安全审计、日志服务、异常服务、自主管理等,主要是管理服务器自主实现的一些功能。数据库部分是应用组件中各模块对应的数据存储。中间层的管理平台是管理服务层的核心,是对应用组件、服务组件以及数据库的支持,包括Web服务、WSDM服务的引擎和API等。
(3)展示层
展示层实现流量状态显示。可以从流量数据库中取得所要查询的网络流量历史信息,也可以调用管理服务层提供的服务触发流量信息更新采集实时的流量数据,还可以通过服务将合法用户的操作信息送到管理服务层。根据用户需求采用图形用户界面将流量态势分析的结果展示出来。可提供多种格式的流量报表。
2.2流量分析系统设计
流量分析系统是整个流量监测系统的核心。如图3所示,该系统分为五个模块:流量采集模块、数据接收模块、数据传输模块、流量分析模块、数据存储与管理模块。对照流量监测系统架构,流量分析系统结构中的这五个功能模块分别位于总体架构的各个层次。
1、网络流量的特性
通过对互联网通信量的测量,人们发现互联网通信量的主要特性有:
1、数据流是双向的,但通常是非对称的
互联网上大部分的应用都是双向交换数据的,因此网络的流是双向的。但是两个方向上的数据率有很大的差异,这是因为从网站下载时会导致从网站到客户端方向的数据量比另外一个方向多。
2、大部分TCP会话是短期的
3、包的到达过程不是泊松过程
4、网络通信量具有局域性
2、网络流量的测量
网络流量的测量是人们研究互联网络的一个工具,通过采集和分析互联网的数据流,我们可以设计出更加符合实际的网络设备和更加合理的网络协议。计算机网络不是永远不会出错的,设备的一小点故障都有可能使整个网络瘫痪,或者使网络性能明显下降。例如广播风暴、非法包长、错误地址、安全攻击等。对互联网流量的测量可以为网络管理者提供详细的信息以帮助发现和解决问题。互联网流量的测量从不同的方面可以分为:
1、基于硬件的测量和基于软件的测量
基于硬件的测量通常指使用为采集和分析网络数据而特别设计的专用硬件设备进行网络流的测量,这些设备一般都比较昂贵,而且受网络接口数量,网络插件的类型,存储能力和协议分析能力等诸多因素的限制。基于软件的测量通常依靠修改工作站的内核中的网络接口部分,使其具备捕获网络数据包的功能。与基于硬件的方法比较,其费用比较低廉,但是性能比不上专用的网络流量分析器。
2、主动测量和被动测量
被动测量只是记录网络的数据流,不向网络流中注入任何数据。大部分网络流量测量都是被动的测量。主动测量使用由测量设备产生的数据流来探测网络而获知网络的信息。例如使用ping来估计到某个目的地址的网络延时。
3、在线分析和离线分析
有的网络流量分析器支持实时地收集和分析网络数据,使用可视化手段在线地显示流量数据和分析结果,大部分基于硬件的网络分析器都具有这个能力。离线分析只是在线地收集网络数据,把数据存储下来,并不对数据进行实时的分析。
4、协议级分类
对于不同的协议,例如以太网(Ethernet),帧中继(FrameRelay),异步传输模式(AsynchronousTransferMode),需要使用不同的网络插件来收集网络数据,因此也就有了不同的通信量测试方法。
3、网络流量的监测技术
1、基于网络流量全镜像的监测技术:网络流量全镜像采集是目前IDS主要采用的网络流量采集模式。其原理是通过交换机等网络设备的端口镜像或者通过分光器、网络探针等附加设备,实现网络流量的无损复制和镜像采集。和其它两种流量采集方式相比,流量镜像采集的最大特点是能够提供丰富的应用层信息。