绪论:写作既是个人情感的抒发,也是对学术真理的探索,欢迎阅读由发表云整理的11篇网络流量分析的方法范文,希望它们能为您的写作提供参考和启发。
1多媒体流量分析的基础
2网络流量分析技术浅议
对多媒体进行标识之后,可以在网络环境中展开更为有效的网络流量分析。已经被标记的信息流在传输过程中能够表现出不同的对于资源的占用,以此作为依据展开更具有针对性的网络流量分析,对于整体网络数据传输资源和功能的优化都必然有着积极价值。
随着计算机技术的不断成熟,网络流量分析技术也呈现出不断发展的特征。当前的流量分析技术,主要是在传统的数据库技术基础之上,以一种开放的态度构建起支持自学习的网络流量分析系统,从而实现整个体系的智能化。就目前的状况看,常见的几种流量分析技术有以下几种。小学德育论文
2)RMON技术。该项技术由IETF定义,本身是对于SNMP技术的一种深入。其对于标准功能以及网管站远程监控器之间的接口进行了重新定义,使得其能够实现更为顺畅的数据交换,从而有助于展开对于网络环境数据流量的更为有效监视。在RMON系统中,当探测器发现了一个非正常态的网络段之后,会主动与网络维护管理控制台接通联络,并将对应的网络信息进行发送,实现对于整体网络流量的监控和分析。
3)SFlow技术。此种技术以随机采样作为主要的研究方式,并且能够提供从第二层到第四层的相对完整的网络流量分析信息,这种分析甚至可以扩展到整个网络环境中,能够实现面向大数据流量的适应,尤其是在面向以流媒体作为主要流量资源占用的网络环境时,仍然能够保持稳定的表现。此种技术成本较低且不会因为引入其技术为网络环境带来新的冲突,同时数据信息量大,能够实现更为完善的网络分析。
3结论
在多媒体应用的网络环境中,深入可靠的网络流量分析系统,对于切实提升网络自身的数据传输能力,为多媒体用户提供更为稳定的数据传输服务有着积极价值。实际工作中唯有不断深入发现自身网络环境特征,才能有的放矢展开有效的流量分析,实现网络环境优化。
随着网络技术的不断发展及网络应用的不断推广,校园网规模日益扩大且网结构与应用日趋复杂,如何对校园网进行全面有效的监控是目前网络管理面临的巨大挑战,这给校园网网络监控技术带来了广阔的研究领域,网络监控技术的核心技术就是对网络中的流量进行即时准确的分析,本文首先对常用的流量分析技术进行简单的介绍。又重点介绍了sFlow技术,针对sFlow的特点,在校园网中部署了一个基于sFlow技术与Juniper网络设备的网络监控系统,并对系统如何实现网络监控进行了描述,此系统可实时有效的对校园网流量进行分析,对校园网管理有很大的实用价值。
1流量分析技术介绍
当前能对网络的流量进行分析的类型主要有以下两种:
1.1点接触型流量分析
点接触型流量分析技术的原理为:在网络中的某个接入点上,利用探针检测该接入点的每个pack-age,所利用的方法为逐个包拆分,并在检测的同时完成统计。点接触型流量分析的优点为:此技术中流量的采集只依赖于探针的包处理机制,与网络中使用何种类型的交换机没有关联;由于本技术采用逐个包拆分的方法,所以可自主制定策略来满足用户的需求。缺点为:接入点的个数有限,只能对有限的点进行数据的采集,如果想在网络的所有关键点布置接入点,成本较大;在关键接入点串入网络流量采集设备,会增加网络的故障点。采用点接触型流量分析的代表设备为:IDS,FLUKE测试等。
1.2面接触型流量分析
面接触型流量分析技术的原理:利用交换机固有的流量采集来完成报文中关键信息的统计工作[1]。面接触型流量分析的优点为:此技术不同于点接触型流量分析,无需在网络的关键接入点上布置探针,只需要布置一台交换机设备用以流量采集统计,即可采集分析核心层流量,并不影响整个网络的性能;此技术可在网络的任一点上采集整个网络的流量;整个校园网中,只需布置一套监控系统,成本低。缺点为:此技术采集的数据只局限于某种类型的package的采样值,而不是包的全部,相较于点接触型流量分析来说,采集的数据较少。采用面接触型流量分析的代表设备为:NET-FLOW监控,sFlow监控等。当前CERNET校园网都是万兆核心层网络平台,根据前面对两种流量分析技术的介绍可知,相较于点接触型流量分析技术,面接触型在采集与分析如此巨大网络流量时,有显而易见不比拟的优势。本文采用当前较主流的sFlow监控系统完成校园网网络流量的采集与监控。
2sFlow技术应用
2.1sFlow技术介绍
sFlow,是由InMon公司于2001年提出的一种基于“统计采样”的网络流量监测技术[2],以RFC3176[3]文件的形式进行了。sFlow通过对校园网中网络设备处理的package进行采集来获取网络中流量的信息,之后把采集后的数据包发送给流量分析服务器进行分析,让用户详尽与实时地知道网络的性能与安全等问题[4]。目前,仅有Foundry和JuniperNetworks等厂商的部分型号的交换机支持sFlow。sFlow的主要优势在于:进行整个网络监视成本更低;拥有的“一直在线技术”能够对网络流量进行实时采集与分析能力;嵌入到ASIC中的强劲技术;全网的视图都是可看见的;采样的速率是可以自主配置的;整个网络的交换性能不受影响;网络带宽基本不受影响;包头的信息是完整的;第二到七层的详细信息是完整的并且支持多种协议。
2.2实现原理
sFlow的网络流量监测实现一般由两部分构成:sFlow(Agent)和sFlow流量采集器(Collector)[2]。sFlow系统的基本原理为:分布在校园网的sFlow把sFlow报文发送到Collector。
2.3sFlow技术
3结语
要实现对网络全面、实时的监控分析必须依靠先进有效的网络监控协议和技术来满足业务日益增长的需求。sFlow网络技术的出现可以很大程度满足当前及未来几年校园网络发展规模,为我们网络管理员的日常巡检维护带来了极大的方便,也为保障校园网络的安全、稳定、高效运行提供了很好的依据。
参考文献
1、引言
随着信息化建设的高速发展,校园网作为数字信息的基本载体在数字校园的建设中具有非常重要的作用。但是,由于各种网络应用的不断涌现,消耗了大量网络带宽,导致网络拥堵、性能降低,干扰了教学科研等关键业务的正常运行。为了优化网络环境,保证数字校园的正常运行,我们有必要对网络流量进行深入的分析与研究,对占用大量网络带宽的流量、环节采取针对性的手段进行调整与控制,保障数字校园高效稳定安全的运行。
2、流量分析的常用方法
网络流量分析指通过捕获网络流量数据对其进行深入量测和分析,来掌握网络的流量特性,例如某种协议、应用服务的使用情况或者某些用户的行为特征等,为精细化流量控制提供数据依据。目前采用的网络流量分析方法按照分析的对象有:
2.1基于地理位置的分析
2.2基于数据包的分析
对数据包的分析一般可以分为:基于地址、端口的分析,基于特征码的分析以及深度数据包检测。
基于地址、端口的分析是通过识别IP、URL地址或者应用服务的特定端口来检测分类的方法。但是随着网络技术的发展,越来越多的应用不再基于固定的地址、端口,使得这种方法的使用范围不断缩小。
基于特征码的分析是通过检测OSI模型中四层以下的内容中是否含有某些应用服务的特殊标示或使用的特定协议来对数据包进行分类的方法,是一种使用较多的分析方法。
深度数据包检测(DPI)是一种对数据包深入到应用层协议检测分析的方法。它通过逐包分析、模式匹配,并且使用行为模式识别等技术,可以对流量中的具体应用服务实现较为准确的识别,例如鉴别P2P数据应用,虽然它的分析速度较慢而且需要不断的根据新的协议和新的应用来升级后台应用数据库,但仍不失为一种使用较为广泛的方法。
2.3基于流量行为的分析
3、流量控制的常用方法
在对网络流量进行深入分析了解数据构成后,就可以针对性的使用适当的方法来控制网络流量,常用方法有“限”、“封”、“分级”:
(2)封:也就是通过封堵特定应用、行为的IP地址、端口号的连接,来禁止使用的目的。但是随着技术的发展,很多软件可以自动协商通讯端口甚至可以使用80端口,所以在单独使用时效果并不理想。
(3)分级:也就是划分应用服务等级,让关键应用获得最高级优先权,让重要应用获得较高优先权,从而使网络流量有序化。
4、校园网流量控制策略的实施
4.1流控设备的部署
笔者所在学校是在外网防火墙和骨干网交换机之间部署锐捷ACE2000来实现内网至外网主干线路的流量控制。
ACE2000是锐捷专门针对国内市场定制和优化的流控设备,可以对网络流量、用户上网行为进行深入分析,为用户提供网络应用和流量趋势报表,还运用深度包检测(DPI)和深度流检测(DFI)技术,能够全面识别和控制各种应用,从而有效的检测和防止某些应用对带宽资源的非正常消耗,保证关键应用带宽,保障整体网络应用的服务质量。
4.2流量分析
4.3管理策略
(1)按IP段划分:我校为办公用户、教学用户、学生用户、家属用户,分配了不同的IP段,根据各用户群不同的功能定位来分配带宽。
(3)按应用设置优先级别:设定应用服务等级,优先保障关键应用、关键区域的网络资源。
(4)智能分配带宽:在各个参数允许范围内,灵活分配最大带宽,提高网络带宽利用率。
4.4应用策略后的效果
在出口部署的锐捷ACE2000上应用策略后,出入口的流量下降近一半(如图1),P2P下载、应用等也减少近半(如图2),在线会话数减为原来的0.65%,基于校园网的办公、教学、远程等应用可以流畅使用。(如图1图2)
5、结语
通过对网络流量的分析,结合各个方面的需求,制定了具有针对性的网络策略,初步获得了显著的效果。但是还有不足之处,主要是各类型用户带宽限制值、并发连接数的合适点不容易找,智能带宽分配的各个参数的合适值不容易找。因此需要我们对网络流量进行长期研究、深入分析,不断调整网络管理策略,合理利用网络带宽,满足各种用户、应用的需求,确保网络的通畅,营造一个良好的数字校园。
[1]林维锵.中小型校园网流量的控制方法,武汉工程大学学报,2011(4):97-99.
DOIDOI:10.11907/rjdk.162346
中图分类号:TP309
0引言
异常流量相对于平稳的网络流量有着显著变化,它来自于网络中的拥塞和路由器上的资源过载。网络运营商必须及时准确地检测异常流量,否则网络无法有效、可靠地运行[1]。研究人员采用了各种分析技术,从基于体积分布的分析到基于网络流量分布的分析来研究流量异常检测。而最近研究表明,基于熵的异常检测具有更好的效果。该方法是在流量分布中捕捉细粒度的模式,使用熵来跟踪流量分布的变化具有两方面优势:①利用熵可以提高检测灵敏度,异常事件的发生可能未表现出存储量异常;②使用流量特征可以诊断信息异常事件的性质(如区分蠕虫、DDoS攻击或扫描)[2]。
2基础理论
大多数流量异常都有一个共同特点,它们诱导流量头特征分布的异常变化,如源地址、目的地址与端口,一般显示出分散或集中分布的现象[8]。
例如,图1显示了3种类型攻击的流量特征分布。图1(a)显示了一个典型的分布式拒绝服务(DDoS)攻击。在这种情况下,大量主机发送信息到一个特定主机。同样,许多网络蠕虫通过发送随机探测,即到随机区域产生大量目的地IP地址,从而使受感染的计算机继续感染其它脆弱的计算机,如图1(b)所示。在一些扫描事件中,一个源IP地址随机扫描多个IP地址,如图1(c)所示。
从以上分析得知,网络流量发生异常时,会使源/目的地址、源/目的端口分布出现变化(见表1)。接下来需要研究:①采用什么指标可以准确配置这些异常流量特征,并明确表明上述攻击的发生;②如何有效地量化异常大小,并揭示非正常的流量行为。
3诊断方法
3.1系统模型
3.2算法设计
4结语
参考文献:
[1]王秀英,邵志清,陈丽琼.异常流量检测中的特征选择[J].计算机工程与应用,2010(28):129131.
[2]崔锡鑫,苏伟,刘颖.基于熵的流量分析和异常检测技术研究与实现[J].计算机技术与发展,2013(5):126129.
[3]郑黎明,邹鹏,韩伟红.基于多维熵值分类的骨干网流量异常检测研究[J].计算机研究与发展,2012(9):154163.
[4]THOTTANM,JIC.AnomalydetectioninIPnetworks[J].IEEETransationonSignalProcessing,2003,51(8):21912204.
[5]赵飞翔,张航,何小海.基于多层分块的异常行为检测算法[J].科学技术与工程,2015(10):112116.
中图分类号:TP
文献标识码:A
1网络流量的特征
1.1数据流是双向的,但通常是非对称的
互联网上大部分的应用都是双向交换数据的,因此网络的流是双向的。但是两个方向上的数据率有很大的差异,这是因为从网站下载时会导致从网站到客户端方向的数据量比另外一个方向多。
1.2大部分TCP会话是短期的
1.4网络通信量具有局域性
2网络流量的测量
网络流量的测量是人们研究互联网络的一个工具,通过采集和分析互联网的数据流,我们可以设计出更加符合实际的网络设备和更加合理的网络协议。计算机网络不是永远不会出错的,设备的一小点故障都有可能使整个网络瘫痪,或者使网络性能明显下降。例如广播风暴、非法包长、错误地址、安全攻击等。对互联网流量的测量可以为网络管理者提供详细的信息以帮助发现和解决问题。互联网流量的测量从不同的方面可以分为:
2.1基于硬件的测量和基于软件的测量
基于硬件的测量通常指使用为采集和分析网络数据而特别设计的专用硬件设备进行网络流的测量,这些设备一般都比较昂贵,而且受网络接口数量,网络插件的类型,存储能力和协议分析能力等诸多因素的限制。基于软件的测量通常依靠修改工作站的内核中的网络接口部分,使其具备捕获网络数据包的功能。与基于硬件的方法比较,其费用比较低廉,但是性能比不上专用的网络流量分析器。
2.2主动测量和被动测量
被动测量只是记录网络的数据流,不向网络流中注入任何数据。大部分网络流量测量都是被动的测量。主动测量使用由测量设备产生的数据流来探测网络而获知网络的信息。例如使用ping来估计到某个目的地址的网络延时。
2.3在线分析和离线分析
有的网络流量分析器支持实时地收集和分析网络数据,使用可视化手段在线显示流量数据和分析结果,大部分基于硬件的网络分析器都具有这个能力。离线分析只是在线地收集网络数据,把数据存储下来,并不对数据进行实时的分析。
2.4协议级分类
对于不同的协议,例如以太网(Ethernet)、帧中继(FrameRelay)、异步传输模式(AsynchronousTransferMode),需要使用不同的网络插件来收集网络数据,因此也就有了不同的通信量测试方法。
3网络流量的监测技术
根据对网络流量的采集方式可将网络流量监测技术分为:基于网络流量全镜像的监测技术、基于SNMP的监测技术和基于Netflow的监测技术三种常用技术。
3.1基于网络流量全镜像的监测技术
网络流量全镜像采集是目前IDS主要采用的网络流量采集模式。其原理是通过交换机等网络设备的端口镜像或者通过分光器、网络探针等附加设备,实现网络流量的无损复制和镜像采集。和其它两种流量采集方式相比,流量镜像采集的最大特点是能够提供丰富的应用层信息。
3.2基于Netflow的流量监测技术
Netflow流量信息采集是基于网络设备提供的Netflow机制实现的网络流量信息采集。
一、现状和问题
二、流量分析技术应用
2.1流量分析技术
2.1.1基于SNMP
该方法仅能对网络设备端口的整体流量进行分析,可以获得设备端口的实时或者历史的流入/流出带宽、丢包、误包等性能指标,但无法分析具体的用户流量和协议组成。因其具有实现简单、标准统一、接口开放的特点,被业界广泛采用。
2.1.2基于网络探针
该方法的数据抓包、分析和统计等功能一般都在网络“探针”上以硬件方式实现,分析的结果存储在探针的内存或磁盘之中,具体的前端展现依赖与之对应的专门软件。因此具有效率高、可靠性高、高速运行不丢包的特点。
2.1.3基于网络流
2.2部署方式
利用公司网络监控平台系统,结合交换机及路由器的FLOW流量采集功能,对油田主干网及试点二级单位的网络流量进行采集,其中计算机主干网,主要采集核心交换机8905和核心路由器t1200设备的流量情况,试点二级单位通过核心交换机软件升级,及试点作业区井站的设备替换,采集内网的流量情况。
2.3流量分析
2.3.1主干网流量分析
通过对流量采集和分析技术进行研究搭建流量分析系统,实现对主要生产办公业务流量分析,重要应用性能追踪。并开展油田计算机终端应用的自动化监控。具体研究内容主要包括一下几点:
通过s-flow、netflow等技术搭建流量分析系统,对区域中心出口、生产指挥中心、应急预警中心、公司视频会议系统及苏里格大厦数信部等重要业务和部门实现业务流量集中统计分析;
通过定制业务模型对主要生产办公流量进行全面分析,包括:视频会议,办公OA系统,生产网中的三端二系统等网络业务;
平均流入速率:450~465Mbps,平均流出速率:30~40Mbps,应用构成为:上网占77%,未知应用占13%,HTTP应用占2%。
2.3.2生产指挥流量分析
公司生产指挥系统流量很小,基本没有流入流量,只有流出流量,平均流出速率为1.08Mbps,平均流出速率波动较大,HTTP应用为主包含codasrv和raventbs等生产系统流量。
三、总结
1网络流量分析及控制的关键技术
网络流量分析及控制是指对数据包进行检测,并通过制定的策略对网络应用实现放行、限制或阻塞的技术。现今P2P类下载应用占用了大量的带宽资源,导致网络的拥堵和服务质量的下降。为了保证用户能够平等的使用网络带宽,需要采取必要的技术对P2P等应用进行一定程度的检测与调控。目前主要的分析控制技术如下。
1.1传统防火墙对网络流量的分析及控制
传统防火墙都工作在OSI参考模型的第2、3、4层,通过对TCP/UDP端口、数据包的源/目的IP地址、MAC地址等进行过滤,实现对网络流量的监视。一般都是对数据包的包头来做策略,并不关心整个数据包的信息。传统防火墙对网络流量的处理方法一般都是阻塞某种协议常用端口,或者阻断客户端与服务器的连接等。由于不能有效的分析数据包内部信息,不能有效的了解用户应用层的信息,也就不能有效的限制用户的应用。采用传统防火墙阻断服务器与客户端连接的方法也已经不能准确的识别与控制。
1.2DPI技术
深度报文检测技术DPI(DeepPacketInspectio)是在分析数据包包头的基础上,增加了对OSI参考模型第七层即应用层的分析。当IP数据包、TCP、UDP数据流经过基于DPI技术的流量控制系统时,通过深入读取数据包的内容来对应用层信息进行重组,从而得到整个应用程序的内容,然后按照系统定义的管理策略对流量进行整形操作。DPI技术可以分为两大类:(1)使用特征字与掩码相结合进行协议识别的DPI技术;(2)使用正则表达式库进行协议识别的DPI技术。
2高校校园网络的现状
目前大部分高校都已建成完善的园区网,普遍采用传统的三层结构(核心层、汇聚层和接入层),并租用运营商电路实现与互联网的高速对接。
校园网的主要特点是学生是网络的主要用户。随着网络技术的发展,学生作为社会最活跃的团体,对于网络新兴服务需求迫切,尤其是视频服务。造成的结果是对网络带宽的占用比例极高,造成传统服务的服务质量下降。
以我院为例,我院校园网络始建于2008年,网络已覆盖教学、办公、生活等区域,其中学生宿舍网络出口带宽所占比例达到80%以上,其中多以视频、P2P应用为主。
3采用流量控制技术调整出口应用
在具体实现方面,采用了Panabit软件。Panabit是北京派网软件公司开发的免费的应用层流量控制系统,是基于稳定性极高的FreeBSD开发的。可在浏览器中对系统进行图形化管理,界面友好,操作简便。
3.1Panabit流量控制系统的部署
(1)安装。
Panabit需要独立安装在一台计算机中,硬件配置要求如表1。
由表1可见,对于目前PC的硬件水平完全可以满足安装需要,只需要在计算机中多加装两块网卡即可。
Panabit的硬件部署在网络出口上。配置的3块网卡,1块用于管理Panabit管理系统,另外2块分别用于采集上传和下载流量的数据。
(2)Panabit系统的初始化配置。
①首先配置系统的IP地址等基础信息(在此全部都采用校园网内部私有地址),以便远程管理(采用HTTPS协议)。
②选择网络配置下的“数据接口”选项,两块网卡的“应用模式”均选择为“透明网桥”。
3.2Panabit系统的流量控制策略的配置
(1)分配带宽。
Panabit对带宽的分配有三种模式:即带宽限制,带宽保证,带宽预留。根据我院对网络需求的实际情况,采用了带宽保证模式。下面对带宽保证模式进行详细的说明:首先,带宽保证模式也具有带宽预留模式的功能,即对特定IP组、特定协议预留出足够的带宽。例如教学、办公IP组,教务系统的ITSP协议等。在此基础上,带宽保证在其预留的带宽不能满足应用要求的时候,会从剩余的总带宽里借用所需带宽。例如每学期开学和学期末,学生大量选课,可以对选课系统的SSL等协议进行带宽保证设置。
(2)建立策略组。
可以根据数据包的源地址、目的地址、应用协议等建立策略组。
3.3系统测试与分析
为了提高网络带宽的利用率,使高校校园网络的使用更趋合理,网络流量分析及控制势在必行,同时也是非常有效的手段。互联网飞速发展,网络流量分析及控制也随之快速发展,为高校的教学等工作提供了稳定的网络基础,使教学信息管理系统和教学资源共享平台的搭建更为安全、高效。为高校的信息化教学做出了贡献。
[1]刘剑锋.部署运维管理平台提高校园网运维水平[J].中国教育技术装备,2011(10).
面向服务架构(SOA)将应用程序的不同功能单元包装成“服务(Service)”,通过这些服务之间定义良好的接口和协议联系起来。接口采用中立的方式定义,独立于具体实现服务的硬件平台、操作系统和编程语言,使得构建在各种这样系统中的服务可以使用统一和通用的方式进行通信。这种具有中立接口定义的特征称为服务之间的松耦合。面向服务架构是一种软件体系结构的思想,它需要依赖具体的实现技术。本文采用Web服务分布式管理(WSDM)标准来支持面向服务架构的实现。
为了解决网络环境下管理系统和基础设施的协同工作以及管理集成问题,OASIS组织在IBM、HP、CA等著名公司的大力支持下,于2005年3月推出了Web服务分布式管理(Webservicesdistributedmanage-ment,WSDM)标准,对WebService管理提供标准化的支持,通过使用WebService来实现对不同平台的管理。
WSDM是一个用于描述特定设备、应用程序或者组件的管理信息和功能的标准。所有描述都是通过Web服务描述语言进行的。WSDM标准实际上是由两个不同的标准组成的,WSDM-MUWS标准以及WS-DM-MOWS标准。
WSDM作为一种功能强大的分布式系统集成解决方案,其主要特点如下:
(2)实现分离。由于采用与实现操作无关的WSDL语言定义接口,使得接口与服务实现了分离,所以无论Web服务其内在实现细节如何改变都不会对客户端的操作方式有任何影响。这样做不但较好地封装了管理方法的实现细节,而且实现了对已有资源的重用。
(3)服务的可组合性。WSDM能随着应用环境规模的变化而变化,首先,WSDM标准的自身实现只需定义较少的属性和操作,使得其在小规模的系统中可以得到稳定的应用:其次,对于大规模应用环境而言,WSDM可以随着应用需求的变化灵活地添加某些服务。从而在使用者和部署人员之间起很好的协调作用。
(4)模型的兼容性。主要表现在WSDM能描述和封装任何资源模型(如cIM、SM-NP、SID等),并为其提供相应的Web服务接口。
2系统设计方案
网络流量采集使用了三种技术:
(1)基于网管设备MIB的SNMP模式;
(2)基于网络探针技术的IP流量数据捕获模式;
(3)基于NetFlow技术的数据流捕获模式。
针对基于SNMP模式,实现基于WSDM的SNMP网关,通过该网关收集SNMP设备上的MIB信息;针对基于网络探针技术模式,可实现基于WSDM的网络探针服务;针对基于NetFlow技术模式,流量数据是通过NetFlow的主动式数据推送机制获得的,网络设备中的NetFlow是通过规范的报文格式将流量数据送往指定主机,WSDM服务提供了接收和传输NetFlow流量数据的功能。
2.1系统架构
流量监测系统结构可划分为三个层次,即资源层、管理服务层、展示层,如图2所示。
(1)资源层
资源层由提供流量采集服务的分布式流量采集器(WSDMAgent)组成,它们通过调用管理服务层的WSDMAgent注册服务实行自主注册,具备向管理服务层主动汇报、自主管理和主动服务等功能。
(2)管理服务层
管理服务层包括应用组件、服务组件、管理平台以及数据库。其中应用组件是对展示层提供支持的各种
管理服务,包括策略管理模块、WSDMAgent管理模块、流量数据管理模块以及流量分析模块等系统功能实现的模块。服务组件是对资源层的各种WSDMAgent资源的支持,包括安全审计、日志服务、异常服务、自主管理等,主要是管理服务器自主实现的一些功能。数据库部分是应用组件中各模块对应的数据存储。中间层的管理平台是管理服务层的核心,是对应用组件、服务组件以及数据库的支持,包括Web服务、WSDM服务的引擎和API等。
(3)展示层
展示层实现流量状态显示。可以从流量数据库中取得所要查询的网络流量历史信息,也可以调用管理服务层提供的服务触发流量信息更新采集实时的流量数据,还可以通过服务将合法用户的操作信息送到管理服务层。根据用户需求采用图形用户界面将流量态势分析的结果展示出来。可提供多种格式的流量报表。
2.2流量分析系统设计
流量分析系统是整个流量监测系统的核心。如图3所示,该系统分为五个模块:流量采集模块、数据接收模块、数据传输模块、流量分析模块、数据存储与管理模块。对照流量监测系统架构,流量分析系统结构中的这五个功能模块分别位于总体架构的各个层次。
0.引言
1.总体设计
SNMP即网络管理协议(SimpleNetworkManagement),在TCP/IP协议族中可以对网络进行管理,这种管理既可以是本地的也可以是远程的。而基于SNMP网络协议的本系统,可以实现对网络数据的获取与实时监控的功能,实现上具有通用、实时、多线程、维护性强及扩展性强的特点。实现在数据链路层和网络层上任意节点的数据获取。加之记录功能的辅助,系统能实现在应用层的数据回放,以满足空管安全事件调查以及系统维护对历史工作状况的评估。
SNMP协议中,一个网管基站可以实现对所有支持SNMP协议的网络设备的监控(随着网络技术的发展,目前绝大部分网络设备是可支持的),包括监视网络状态、修改网络配置、接收网络事件告警等等网络监控功能。在实现上主要包括远程文件访问、流量数据记录、流量监视以及系统的IP定位。其中流量监视是系统实现的核心,将在下一部分进行介绍。另外,系统还提供了日志文件记录实现对系统操作、监控数据以及告警信息的记录。
2.C#的实现
2.1网络监控类与网络适配类的设计
为了提高系统的模块化程度及软件的封装性,系统在实现过程中定义了两个主要的类。分别是用于网络监控的NetWorkMonitorClass以及网络适配类NetWorkMatch,网络监控类主要实现系统的网络监控功能,而网络适配类则提供了一个安装在计算机上的网络适配器,该类可用于获取网络中的流量。两者功能及结构如下:
NetAdapterShow();
Timer=newSystem.Timers.Timer(2000);
Timer.Elapsed+=newElapsedEventHandler(timer_ElapsedClick);
其中,NetAdapterShow()为列举出安装在该计算机上面的适配器,具体实现可以通过C#的foreach()语句进行编写如下:
PerformanceCounterCategoryPCCCategory=newPerformanceCounterCategory("NetworkInterface");
foreach(stringInstanceNameinPCCCategory.GetInstanceNames())
{
if(InstanceName=="MSTCPLoopbackinterface")
continue;
//创建一个实例NetworkAdapter类别,并创建性能计数器它
MyNetWorkMatchClassmyMNWMadapter=newMyNetWorkMatch
Class(InstanceName);myMNWMadapter.m_Performance_Down=newPerformanceCounter("NetworkInterface","BytesReceived/sec",InstanceName);
myMNWMadapter.m_Performance_Up=newPerformanceCounter("NetworkInterface","BytesSent/sec",InstanceName);
m_AdaptersList.Add(myMNWMadapter);
}
当然,在类中也定义了StartWorking以及StopWorking等控制函数对类的工作状态进行控制。另外timer事件也通过构造函数进行加入,如上所述。
网络适配类NetWorkMatch则主要计算网络的各种数据,如计算上传速度、下载速度、控制适配器等函数的封装,减少网络监控类的功能耦合度。
2.2具体实现
在窗体加载函数中,系统首先做自我初始化如下:首先定义上述设计的网络监控类,并实例化monitor=newNetWorkMonitorClass();与此同时通过类函数遍历获取所有计算机适配列表,m_MNWMadapters=monitor.Adapters;,Adapters()为网络监控类封装好的函数。并将函数返回结果通过Items.AddRange()函数将其显示在listbox控件中,以实现友好的人机交互界面。其次,在timer定时器中对选中监控的适配器进行独立监控。至此,系统实现了独立监控与全面监控的所有设计。
3.结语
本文提出一种基于SNMP协议分析的网络监控系统,该系统应用于空管信息网络。在实现过程,主要采用C#进行开发,通过编写自我的网络监控类和网络适配类进行网络数据的流量监控,可以推广应用于信息网络维护工作较为繁重的行业,提供一种智能网络流量监控手段。
【参考文献】
[1]宫婧,孙知信,陈二运.一种基于流量行为分析的P2P流媒体识别方法[J].计算机技术与发展,2009(09).
网络流量性能测量和分析涉及许多关键技术,如单向测量中的时钟同步新问题,主动测量和被动测量的抽样算法探究,多种测量工具之间的协同工作,网络测量体系结构的搭建,性能指标的量化,性能指标的模型化分析,对网络未来状态进行趋向猜测,对海量测量数据进行数据挖掘或者利用已有的模型(petri网、自相似性、排队论)探究其自相似特征,测量和分析结果的可视化,以及由测量所引起的平安性新问题等等。
1.在IP网络中采用网络性能监测技术,可以实现
1.1合理规划和优化网络性能
为更好的管理和改善网络的运行,网络管理者需要知道其网络的流量情况和尽量多的流量信息。通过对网络流量的监测、数据采集和分析,给出具体的链路和节点流量分析报告,获得流量分布和流向分布、报文特性和协议分布特性,为网络规划、路由策略、资源和容量升级提供依据。
1.2基于流量的计费
1.3网络应用状况监测和分析
了解网络的应用状况,对探究者和网络提供者都很重要。通过网络应用监测,可以了解网络上各种协议的使用情况(如www,pop3,ftp,rtp等协议),以及网络应用的使用情况,探究者可以据此探究新的协议和应用,网络提供者也可以据此更好的规划网络。
1.4实时监测网络状况
针对网络流量变化的突发性特性,通过实时监测网络状况,能实时获得网络的当前运行状况,减轻维护人员的工作负担。能在网络出现故障或拥塞时发出自动告警,在网络即将出现瓶颈前给出分析和猜测。现在随着Internet网络不断扩大,网络中也经常会出现黑客攻击、病毒泛滥的情况。而这些网络突发事件从设备和网管的角度看却很难发现,经常让网络管理员感到棘手。因此,针对网络中突发性的异常流量分析将有助于网络管理员发现和解决新问题。
1.5网络用户行为监测和分析
这对于网络提供者来说非常重要,通过监测访问网络的用户的行为,可以了解到摘要:
2)访问我的网络最多的用户是哪些。
4)他们来自什么地方。
5)他们到过我的网络的哪些部分。
通过这些信息,网络提供者可以更好的为用户提供服务,从而也获得更大的收益。
2.网络流量测量有5个要素摘要:
连接性也称可用性、连通性或可达性,严格说应该是网络的基本能力或属性,不能称为性能,但ITU-T建议可以用一些方法进行定量的测量。
2.2延迟
对于单向延迟测量要求时钟严格同步,这在实际的测量中很难做到,许多测量方案都采用往返延迟,以避开时钟同步新问题。
2.3丢包率
为了评估网络的丢包率,一般采用直接发送测量包来进行测量。目前评估网络丢包率的模型主要有贝努利模型、马尔可夫模型和隐马尔可夫模型等等。
2.4带宽
带宽一股分为瓶颈带宽和可用带宽。瓶颈带宽是指当一条路径(通路)中没有其他背景流量时,网络能够提供的最大的吞吐量。
2.5流量参数
3.测量方法
Internet流量数据有三种形式摘要:被动数据(指定链路数据)、主动数据(端至端数据)和BGP路由数据,由此涉及两种测量方法摘要:被动测量方法和主动测量方法然而,近几年来,主动测量技术被网络用户或网络探究人员用来分析指定网络路径的流量行为。
3.1主动测量
3.2被动测量
被动测量是在网络中的一点收集流量信息,如使用路由器或交换机收渠数据或者一个独立的设备被动地监测网络链路的流量。被动测量可以完全取消附加流量和Heisenberg效应,这些优点使人们更愿意使用被动测量技术。有些测度使用被动测量获得相当困难摘要:如决定分缩手缩脚一所经过的路由。但被动测量的优点使得决定测量之前应该首先考虑被动测量。被动测量技术碰到的另一个重要新问题是目前提出的要求确保隐私和平安新问题。
3.3网络流量抽样测量技术
流量统计和分析是网络管理中的一个重要内容,它不但可以及时发现网络流量的过载,攻击等异常情况,还可以对正常流量进行分析,帮助网络管理者了解各种级别的用户对于网络的使用情况,为采用合适的商业模式提供决策依据。
流量透明化的现状分析
随着校园网的规模越来越大,IT服务的完善,网络管理者也会提出以下问题。
一、当前的上网流量占用多大带宽这些带宽主要谁在占用这些占用是允许的吗在WWW访问之外,是不是有大量的FTP等下载是允许的吗
三、外联的服务器是提供特定用户访问吗哪个访问流量最大最大流量占用的用户是合法的吗服务器是否该扩容了有非法用户访问这些服务器吗
五、教职工和学生用于的流量分别有多大用于上网的流量有多大谁更多地使用互联网是必要的吗谁占用的网络带宽最大这些占用是必要的吗哪个用户在非法扫描网络是否有用户提供非法的下载(WWW/FTP)服务
要解决这些流量问题,不是一件容易的事情,常规的方法有以下几种。
其中一种是网管方式。网管方式通过启动SNMP来获取流量信息。但SNMP只能获取流量的字节数,无法获取字节的构成,更无法获取流量的发起方。该方法可解决流量的分布问题,无法解决流量的构成问题。该方式主要用于设备的管理,而不适用于精细的流量分析。
方式可很好解决流量的构成问题,但几乎无法解决流量的分布问题。该方式适用于对少量关键点的监控,不适合大规模日常使用。
最后一种是基于流技术的方式。该方式是让网络设备在转发数据流量的同时,生成特定的流量信息,然后将流量信息发送到特定的分析模块,进而实现对流量的分析。理想情况下,如果让网络中的每台网络设备均发出流量信息,那么就可以轻松解决流量的分布问题,同时解决流量的构成问题。缺点是各厂商提供的流分析技术都是私有技术无法通用。
网管方式无法进行流量构成分析,不再讨论。由于分析仪器的昂贵,监听方式不适用于大规模部署,而且分析到7层应用后,容易使用户隐私受到侵犯。而流技术的分析方式功能均衡而强大,对流量的分析只到业务字节,不涉及应用级,无隐私顾虑。
流技术方式更适合网络流量分析。但由于各厂商之间流技术方式大多采用的是厂商的私有协议,就导致了不同厂商设备在组网后流技术方式不兼容的问题。正是由于这个原因国际化流量监控标准技术IPFIX(IPInformationflowExport)应运而生。
校园网流量透明化管理
我校在进行流量透明化管理之前,整个网络接入用户的类型比较复杂,本来就不富裕的网络流量常被消
耗殆尽。在经过几次互联网出口和校园网骨干带宽进行扩容后,情况仍得不到解决,为了搞清楚这些流量都被哪些用户和哪些应用占用了,我们引进了锐捷网络的校园网解决方案,根据国际化流量监控标准技术IPFIX来对校园网的流量使用情况进行审计和评估。
网络透明化解决方案包括流量采样设备、流量采集设备、数据分析处理设备(如图1)。利用IPFIX日志,网络透明化解决方案提供了一种网络监测、分析的方式,直接从支持IPFIX功能的路由器和交换机中收集流量信息,可以灵活启动不同层面(接人层、汇聚层、核心层)的网络设备进行IPFIX流量日志收集,并将收集的内容以IPFIX格式的日志输出给Collerctor设备分析。管理员使用Analyser的分析功能,可做网络使用状况监控、用户行为追踪、异常流量检测等,同时基于功能丰富的报表,可做网络规划方面的决策。(如图3)
主要实现了以下功能。首先是网络得到优化。可以使网络管理员及时掌握网络负载状况,网内应用资源使用情况,对核心网络的重点链路进行统计,各类TOP应用百分比,使用各类应用的网内用户、服务器的流量趋势
及统计值,迅速发现网络当前的使用状况和不同链路的使用率变化趋势,尽早发现网络结构的不合理或网络性能瓶颈,尽快作出网络优化方面的决断,最终实现网络的优化使用。
其次是网络规划参考方面。利用IPFIX流日志以及网络透明化长期监控网络带宽而形成的各类趋势报表,如基于设备接口的长期流量入出趋势,长期流量入出趋势分析,各类应用百分比,有助于网络管理员跟踪和预测网络链路流量的增长,从而能有效的规划网络升级。