“云计算”被描述为是一个平台系统或软件应用程序。首先,平台系统意味着云计算系统可以实时地动态部署、配置、再部署、再配置。在云计算平台下,服务器是一个物理服务器或一个虚拟服务器。云计算通常包括很多计算资源。
云计算是一个新的商业模型[1-2]。它描述了计算任务到资源池的过程。资源池由大量计算机组成,从而保证各种应用可以按需获得计算能力、存储空间和各种软件服务。云计算的新颖性在于它可以提供无限的廉价存储和计算能力,这可以使其存储和挖掘大量的数据。
处理高维度和大规模数据有很多方法,但请求处理通常是瓶颈。认识发现任务算法通常被应用到多维未来空间广泛搜索或最近邻居搜索[3]。商业智能和数据仓库可以存放T字节级以上的数据。云计算作为数据挖掘的需求正被广泛使用。MapReduce是一个程序框架,并且被用于处理大的数据集合。分割、调度和失败处理以及通信等细节被MapReduce隐藏[4]。
1云计算
云计算是一种计算服务而不单单是一个产品,它由计算资源、软件和各种信息组成。通过网络在任何地点,可以使用计算机或其他设备等终端访问。云是一个并行和分布式系统,由相互连接的虚拟计算机构成,可以被动态部署,并作为一个或多个统一的计算资源呈现出来。云计算基于服务运营商和用户签订的服务等级协议提供服务。
数据连接紧密度的增长和数据量增长导致许多运营商和部分数据中心使用大的、可以动态均衡负载的基础设施作为云计算平台。通过按需地在服务器上分布和复制数据,资源利用率显著提高。
“云”是一个弹性的资源执行环境,涉及到多个利益方,并能提供可以计量的服务。这些服务可以分为多个粒度级别。换言之,本文中所讲的云是基础平台,可以在多种资源上面以各种形式执行。从而提供资源和服务的管理性、弹性和系统平台独立性等能力。
2数据挖掘技术
目前有几种主要的数据挖掘技术已经开发并应用到数据挖掘项目中。包括关联规则、分类、聚类、预测和序列模式。下面将简要地介绍这些数据挖掘技术的例子。
(1)关联规则
关联规则是一种最好的已知的数据挖掘技术。对关联规则挖掘的研究可分为两种类型,一种是Apriori算法研究,一种是频繁模式增长算法研究[5](FP-growth增长等)。在关联规则中,一种模式的发现是基于在同一个交易数据库中特定项目与其他项目的关系。例如,该技术用于市场购物篮分析中确定什么样的产品客户经常一起购买。基于该数据业务会有相应的营销活动,从而销售更多的产品,创造更大的利润。
(2)分类
分类是一种基于机器学习的经典的数据挖掘技术。分类方法是利用数学方法实现,如决策树,线性规划,神经网络和统计。在分类过程中,软件可以学习如何将数据项分到不同的组中。例如,可以应用于“给那些离开公司的员工过去的记录应用分类,预测当前的雇员很可能在将来离开”,在这种情况下,把员工的记录分为两组,“离开”、“留下”,然后,可以利用数据挖掘软件将雇员划分到每个组。
(3)聚类
(4)预测
正如它的名字暗示的,预测是一种数据挖掘技术,用于发现自变量之间及自变量和因变量之间的关系。例如,预测分析技术,如果考虑销售额是一个自变量,利润可能是一个因变量,那就可以预测将来的销售利润,根据历史销售数据和利润数据,就可以得出一个用于预测盈利的回归拟合曲线。
(5)序列模式
2011年,李玲娟等人[7]提出了一种在云计算环境中的关联规则挖掘算法。该算法利用Hadoop框架平台及MapReduce编程模型,以实现云计算环境下的并行挖掘为目标,给出了改进Apriori算法在Hadoop框架平台中MapReduce编程模型上的执行过程。算法在频繁项集挖掘中表现出较好的性能和实用性。
2011年,T.R.GopalakrishnanNair等人[8]提出了k-均值算法,算法通过迭代过程把数据集分为不同类别,使评价聚类性能的准则函数达到最优,且每个聚类内紧凑,类间独立。
3云计算面临的挑战
云计算作为大幅降低成本技术,在受到追捧的同时也面临着诸多挑战性问题。
(1)安全
(2)Ad-hoc网络模式
Ad-hoc网络是一个没有有线基础设施支持的移动网络,是一种无线多跳网络。在Ad-Hoc网络中,所有的节点都是由移动主机构成的。与传统的无线网络相比,它不依赖于任何固定的基础设施和管理中心,而是由一组自主的移动节点临时组成,通过移动节点间的相互协作和自我组织,保持网络连接,实现数据的传递。其特点是:动态变化的网络拓扑结构,多条通信,较低的安全性。
(3)管理性
(4)庞大的规模
现有的SQL数据库不能简单地处理放置在云中的海量数据。在存储方面,是用不同的事务实现技术,还是用不同的存储技术,或者二者都用来解决一些限制性问题还不确定。在这个问题上,目前在数据库领域内有很多提议。现有的云计算已经开始探索一些简单的实用性方法,但是还需要做更多的工作来融合现有的云计算机制中的好思想。
(5)新的应用场景
预测一些需要预载大量数据集(像股票价格、天气历史数据以及网上检索等)的服务。从私有和公共环境中获取有用信息引起人们越来越多的注意。这就需要从结构化、半结构化或非结构的异构数据中提取出有用信息。
(6)延迟
延迟通常是因特网上的常见问题。云计算中产生的延迟并不是致命的,可以通过智能化设计的高性能基础设施以及灵巧的应用程序来补救。就像桌面计算机最大的瓶颈就是需要更大的硬盘和内存,云计算中延迟的真正原因必须确定和解决。云计算既需要较高性能的集群服务器,也需要高性能的通信设备来支持。
4结论
数据挖掘技术的主要问题是项目集合需要空间,并且项目级操作是巨大的。如果将数据挖掘应用于云计算环境,将会从云运营商那里按需租赁空间。这种方法解决了需要大量空间的问题。并且用户不再需要考虑空间大小,可直接使用数据挖掘技术。
参考文献
[1]WEISSA.Computinginclouds[J].ACMNetworker,2007,11(4):18-25.
[2]BUYYAR,VENUGOPALS.Market-orientedcloudcomputing:vision,hype,andrealityfordeliveringITservicesascomputingutilities[C].Proceedingsofthe200810thIEEEInternationalConferenceonHighPerformanceComputingandCommunications,2008:5-13.
[3]BOHMC,BERCHTOLDS,MICHELU.Multidimensionalindexstructuresinrelationaldatabases[C].in1stInternationalConferenceonDataWarehousingandKnowledgeDiscovery,1999:51-70.
[4]DEANJ,GHEMAWATS,USENIX.MapReduce:simplifieddataprocessingonlargeclusters[C].6thSymposiumonOperatingSystemsDesignandImplementation,2004:137-149.
[5]HanJ,PeiJ,YinY.Miningfrequentpatternswithoutcandidategeneration[C].Proc.ofACMInt.Conf.onManagementofdata(SIGMOD),2000:1-12.
[6]KAWUUWLIN,LUOYC.Efficientstrategiesformany-taskfrequentpatternminingincloudcomputingenvironments[C].SystemsManandCybernetics(SMC),IEEEInternationalConference,2010(10):620-623.
[7]李玲娟,张敏.云计算环境下关联规则挖掘算法研究[J].计算机技术与发展,2011(2):43-46.
[8]NAIRTRG,MADHURIKL.Dataminingusinghierarchicalvirtualk-meansapproachintegratingdatafragmentsincloudcomputingenvironment[C].CloudComputingandIntelligenceSystems(CCIS),IEEEInternationalConference,2011(1):230-234.