分类就是构造一个分类模型，把具有某些特征的数据项映射到某个给定的类别上。这个过程分为两步:模型的创建和模型的使用。模型的创建是指通过对训练数据集的学习建立分类模型;模型使用是指使用分类模型对测试数据和新的数据进行分类。其中的训练数据集是带有类标号的，也就是在分类之前，要划分的类别是已经确定的，通常分类模型是以分类规则、决策树或数学表达式的形式给出的。
分类模式往往表现为一棵树，从树根开始搜索，沿着数据满足的分支走。走到树叶时就能确定类别。已有许多数据分类方法，如决策树方法、统计方法及粗糙集方法等。Metha,Agrawal,Rissanen等人开始研究面向数据库的分类方法。J.Han等人在他们开发的知识发现系统DBMiner中采用了基于概括的决策树方法，该方法集成了面向属性的归纳和决策归纳技术。
3)聚类分析(Clustering)
聚类就是根据数据的属性对一系列未分类数据进行类别划分，把一组个体按照相似性分成若干个类或簇，即“物以类聚”。其目的是使类间的数据差别尽能大，类内的数据差别尽可能小，即“最小化类间的相似性，最大化类内的相似性”原则。与分类模式不同的是聚类中要划分的类别是未知的，它是不依赖于预先定义的类和带类标号的训练数据集的非监督学习(unsupervisedlearning)，无需背景知识，其中类的数量由系统按照某种性能指标自动确定。聚类分析的方法有很多，其中包括系统聚类法、分解法、加入法、动态聚类法、模糊聚类法、运筹方法等。采用不同的聚类方法，对于相同的记录集合可能有不同划分结果。
4)回归分析(Regression)
回归模式的函数定义与分类模式相似，主要差别在于分类模式采用离散预测值(例如类标号)，而回归模式则采用连续的预测值。它通过具有己知值的变量来预测其他变量的值。在最简单的情况下，回归采用的是类似于线性回归的标准统计技术。但在大多数现实世界中的问题是不能用简单的线性回归所能预测的。如商品的销售量、股票价格、产品合格率等，很难找到简单有效的方法来预测，因为要完全地描述这些事件的变化需要上百个变量，而且这些变量本身往往都是非线性的。为此学术界提出了很多试图解决这个问题方法，如逻辑回归、决策树和神经网络等。
5)序列模式分析(Sequential)
6)偏差分析(Deviation)
偏差分析是指对差异或极端特例的描述，如聚类划分外的偏离值。在大多数据挖掘方法中都是将这些偏差信息作为噪声而丢掉，然而在一些实际应用中，这种罕见的数据可能比正常的数据更有价值。比如网络的入侵检测和信用卡的欺诈检测等。我们可在通过这些异常数据的偏差来分析其中的原因，以便对其采用相应的措施。
2数据挖掘的主要方法
数据挖掘是一门新兴的研究领域，其技术基础是人工智能(ArtificialIntelligence)。它借鉴了信息论、数理逻辑、进化计算、神经计算和统计学等理论和算法[22]。在此介绍几种主流的方法。
1)遗传算法
遗传算法是一种基于生物进化过程的组合优化方法，它是生物学和计算机相结合的产物，由美国密西根大学的D.JHolland教授和他的同事们在1975年首次提出的。根据适者生存的原则模拟自然界的生命进化机制，形成当前群体适合的规则组成新群体，以及这些规则的后代。
基于这些思想，根据遗传算法的最适合模型，并进一步对数据模型进行优化。
由于遗传算法是一种弱算法，具有高效性和灵活性的特点，在数据挖掘中也用于评估其他算法的适应度。
遗传算法擅长于数据聚类，通过事件的类比和空间上的类比，可以把大量繁杂的信息数据进行系统化、条理化，从而找出数据之间的内在关系，得出有用的概念和模式。再建立数据模式时，将遗传算法与神经网络相结合，可以更好地提高模型的适应性。因此遗传算法广泛应用于自动控制、机器学习、模式识别和组合优化等领域。
2)神经网络
神经网络(neuralnetwork)是由多个神经元按照某种方式相互连接形成，靠网络状态对外部输入信息的动态响应来处理信息，网络的信息分布式存储于连接权系数中，使网络具有很强的容错性和鲁棒性。神经网络的核心是结构和算法，例如Hopfield网就是以结构见长，而BP(backpropagation)网是以算法见长。
神经网络和基于符号的传统技术相比，具有直观性、并行性和抗噪声性。目前，已出现了许多网络模型和学习算法，主要用于分类、优化、模式识别、预测和控制等领域。在数据挖掘领域，主要采用前向神经网络提取分类规则。
3)统计分析方法
统计分析方法是利用统计学、概率论的原理对数据库中的各属性进行统计分析，从而找出其中的关系和规律。统计分析方法是最基本的数据挖掘方法之一。常用的统计分析方法有
判别分析法：建立一个或多个判别函数，并确定一个判别标准，然后对未知属性的对象根据观测值将其划分归为已知类别中的一类。
在数据挖掘中，统计分析方法适用于分类挖掘和聚类挖掘。
4)粗集方法
粗集(roughset)理论的特点是不需要预先给定某些特征或属性的数量描述，而是直接从给定问题出发，通过不可分辨关系和不可分辨类确定问题的近似域，从而找出该问题中的内在规律。粗集理论同模糊集、神经网络、证据理论等其它理论均成为不确定性计算的一个重要分支。
粗集理论是由波兰华沙理工大学的Z.Pawlak教授于1982年提出的一种研究不完整、不确定知识和数据的表达、学习及归纳的理论方法。粗集理论采用了上近似集合、下近似集合和边界来定义粗糙集。
粗糙集合理论可以用于分类，发现不准确数据或噪声数据内在的联系。找出可以描述给定数据集中所有概念的属性子集是个难题。在给定的现实世界数据中，往往有些类不能被可用的属性区分，则可以用粗糙集合来近似地定义这些类。根据目前己有的给定问题的知识，将问题的论域进行划分，然后对划分后的每一个组成部分确定其对某一概念的支持度，即肯定支持此概念或不支持此概念和模糊概念。上述情况分别用3个近似集合来表示。即将知识定义为对事物的分类能力。这种能力分别由上近似集、下近似集、等价关系等概念来体现。
5)决策树方法
决策树((decisiontree)是一个类似于流程图的树型结构，其中树的每一个内部节点代表对一个属性的测试，其分支代表测试的每一个结果：树的每一个叶子节点代表一个类别。决策树通过一系列的规则对数据进行分类。目前许多基于规则进行归纳的商用数据挖掘系统都是采用决策树方法。
决策树分类方法的优点:
1、决策树方法结构简单，便于人们理解;
2、决策树模型效率高，对训练及数据量大的情况较为合适;
3、决策树方法具有较高的分类精确度;
4、决策树可以清晰的显示哪些字段比较重要。
建立一棵决策树可能只要对数据库进行几遍扫描之后就能完成，这也意味着需要计算的资源较少，而且可以很容易的处理包含很多预测变量的情况，因此决策树模型可以建立的很快，并适用于大量的数据处理。常用的算法有CHAID，CART，Quest、C5.0和ID3算法。
建立决策树的过程，即树的生长过程是不断地把数据进行切分的过程，每次切分对应一个问题，也对应一个节点。对每个切分都要求分成的组之间的差异最大。各种决策树算法之间的k要区别就是对这个“差异”衡量方式的区别。
对决策树的批评常见的是，认为其在为一个节点选择怎样进行分割时使用的“贪心”算法。此种算法在决定当前分割时根本不考虑此次选择会对将来的分割产生什么样的影响。换句话说，所有的分割都是顺序完成的，一个节点完成分割之后不可能以后还有机会回头考虑此次分割的合理性，每次分割都是依赖于它前面的分割方法，只要第一次分割有一点点不同，那么由此得到的整个决策树就会完全不同。
除上述方法外，还有把数据与结果转化表达成可视化形式的可视化技术、模型方法和归纳学习等方法。
2、数据挖掘技术
2.1关联规则方法
关联规则是一种简单，实用的分析规则，描述了一个事物中某些属性同时出现的规律和模式，是数据挖掘中最成熟的主要技术之一。大多数关联规则挖掘算法能够无遗漏发现隐藏在所挖掘数据中的所有关联关系，所挖掘出的关联规则量往往非常巨大，但是。并不是所有通过关联得到的属性之间的关系都有实际应用价值，对这些关联规则进行有效的评价。筛选出用户真正感兴趣的。有意义的关联规则尤为重要。
2.2分类和聚类方法
分类就是假定数据库中的每个对象属于一个预先给定的类。从而将数据库中的数据分配到给定的类中。而聚类分析是根据所选样本间关联的标准将其划分成几个组，同组内的样本具有较高的相似度，不同组的则相异。分类和聚类的区别在于分类事先知道类别数和各类的典型特征，而聚类则事先不知道。聚类方法适合于探讨样本间的内部关系，从而对样本结构做出合理的评价。
2.3数据统计方法
使用这些方法一般首先建立一个数据模型或统计模型，然后根据这种模型提取有关的知识。传统的统计学为数据挖掘提供了许多判别和回归分析方法。贝叶斯推理、回归分析、方差分析等技术是许多挖掘应用中有力的工具之一。
2.4神经网络方法
2.5决策树方法
0引言
随着信息科技的进步以及电子化时代的到来，现代信息社会中数据和数据库呈现爆炸式增长。面对浩瀚的数据海洋，如何从这些庞大的数据中找出它们之间存在的“潜伏”的关系和规则，进而根据这些关系和规则预测未来的发展趋势，已经成为二十一世纪探索的热点问题。
数据挖掘(DataMining)技术的诞生，为解决这一问题提供了可以参考的方法，是开发信息资源的一种新的数据处理技术。它不仅能对过去的数据进行查询，而且能够找出过去数据之间的潜在联系，进行更高层次的分析，以便更好地解决决策、预测等问题。
1数据挖掘概述
数据挖掘就是从大型数据集（可能是不完全的、有噪声的、不确定性的、各种存储形式的）中，挖掘隐含在其中的、人们事先不知道的、对决策有用的知识的过程。数据挖掘的目的是为了从这些数据中抽取一些有价值的知识或信息，提高信息利用率。
数据挖掘主要有以下对象：
（1）关系型数据库、事务型数据库、面向对象的数据库；
（2）数据仓库/多维数据库；
（3）空间数据（如地图信息）；
（4）工程数据（如建筑、集成电路的信息）；
（5）文本和多媒体数据（如文本、图象、音频、视频数据）；
（7）万维网（如半结构化的HTML，结构化的XML以及其他网络信息）。
数据挖掘的步骤一般会因不同的实际应用情况而有所变化，其过程就是用一定的数据挖掘算法从给定的数据库中提取模型，以及围绕数据挖掘所进行的预处理和结果表达等一系列的步骤，是一个需要经过反复的多次处理的过程。图1显示的是数据挖掘过程，主要由以下步骤组成：
（1）数据清理（消除噪音或不一致数据）；
（2）数据集成（多种数据源可以组合在一起）；
（4）数据变换（数据变换或统一成适合挖掘的形式；如通过汇总或聚集操作）；
（5）数据挖掘（基本步骤，使用智能方法提取数据模式）；
（6）模式评估（根据某种兴趣度度量，识别提供知识的真正有趣的模式）；
（7）知识表示（使用可视化和知识表示技术，向用户提供挖掘的知识）。
例如，应用数据挖掘算法中聚类分析的方法，可以在城市规划的过程中，根据类型、价格、地理位置等来划分不同类型的住宅。具体使用哪种数据挖掘算法，要根据具体情况和应用要求而定。一种数据挖掘算法可能在一种情况下适用，而在另一种情况下就不适用。在特定的应用环境下，应找出最适用的数据挖掘算法，并加以实施。
3数据挖掘的应用
3.1数据挖掘在零售业中的应用
由于零售业便于搜集大量的销售数据、顾客购物记录、货物运送、消费模式和服务记录等特点，使其成为数据挖掘的主要应用领域。
零售商们采用数据仓库使他们有更好的机会运用数据挖掘技术。通过数据挖掘，零售商们可以了解销售全局、对商品分组布局、降低库存成本、分析销售市场趋势，从而更加有效地对商品进行促销。大型的零售连锁店和杂货店用大量的“信息丰富”的销售数据，通过数据挖掘揭示一些没有发现的“隐藏关系”，其中最著名的啤酒和尿布的故事即是数据挖掘在零售业中典型的应用。
3.2数据挖掘在体育竞技中的应用
先进信息技术的运用是美国NBA职篮联盟成功的众多因素中非常重要的一个。例如，魔术队教练利用IBM公司开发的数据挖掘应用软件AdvancedScout，对不同的队员布阵时的相对优势进行了系统的分析，并根据分析结果取得了对迈阿密热队4连胜的战绩。
3.3数据挖掘在企业中的应用
数据挖掘在企业信息处理中的应用是一个将信息转化为企业商业知识的过程。它主要用于企业的客户关系管理、市场分析、营销策略和趋势预测等方面。
数据挖掘技术已经广泛应用在美国银行和金融领域中。例如用数据挖掘工具Marksman可以分析消费者的赊账卡、家庭贷款、投资产品以及储蓄等信息，并对客户进行分类，从而预测何时哪类产品最适合哪类客户，因而被美国Firstar等银行使用。此外，近年来数据挖掘技术在信用记分的研究和应用方面也取得了很大的进步。银行利用CreditScoring技术对客户的一些信息（如基本资料、资产以及以往信用等）进行分析、评估，做出最有利的决定。
3.4数据挖掘在科学探索中的应用
随着数据挖掘技术的不断发展和完善，已经逐步应用到尖端科学的探索中。数据挖掘技术在生物学中的应用主要集中于分子生物学特别是基因工程的研究上。通过用计算生物分子系列分析方法，尤其是基因数据库搜索技术已在基因研究上做出了很多重大发现。
SKICAT（SkyImageCatalogingandAnalysisTool）是天文学上一个非常著名的系统。该系统使用数据挖掘算法中的决策树方法构造分星体类器对星体进行分类，结果使得能分辨的星体与以前的方法相比，在亮度上要低一个数量级之多，并且在效率上这种方法比以往的方法高40倍以上。
3.5数据挖掘在信息安全中的应用
图3数据挖掘方法的入侵检测系统流程图数据挖掘这一新兴技术至今已经在商业、银行、金融、制造业、互联网络、教育、科学研究等领域广泛应用，并且给我们的社会和生活带来了极大的改观。
参考文献
［1］MargaretH.Dunham:DATAMININGIntroductoryandAdvancedTopics［M］.北京:清华大学出版社，2003.
［2］MehmedKantardzic:DATAMININGConcepts，Models，Methods，andAlgorithms［M］.北京:清华大学出版社，2003.
1数据挖掘技术的概述
数据挖掘是通过对各种数据信息进行有选择的统计、归类以及分析等挖掘隐含的有用的信息,从而为实践应用提出有用的决策信息的过程。通俗的说数据挖掘就是一种借助于多种数据分析工具在海量的数据信息中挖掘模数据信息和模型之间关系的技术总裁,通过对这种模型进行认识和理解,分析它们的对应关系,以此来指导各行各业的生产和发展,提供重大决策上的支持。数据挖掘技术是对海量数据信息的统计、分析等因此数据挖掘技术呈现以下特点:一是数据挖掘技术主要是借助各种其它专业学科的知识,从而建立挖掘模型,设计相应的模型算法,从而找出其中的潜在规律等,揭示其中的内在联系性;二是数据挖掘主要是处理各行数据库中的信息,因此这些信息是经过预处理的;三是以构建数据模型的方式服务于实践应用。当然数据挖掘并不是以发现数据理论为目的,而是为了在各行各业的信息中找出有用的数据信息,满足用户的需求。
2数据挖掘的功能
结合数据挖掘技术的概述,数据挖掘主要具体以下功能:一是自动预测趋势和行为。数据挖掘主要是在复杂的数据库中寻找自己有用的信息,以往的信息搜索需要采取手工分析的方式,如今通过数据挖掘可以快速的将符合数据本身的数据找出来;二是关联分析。关联性就是事物之间存在某种的联系性,这种事物必须要在两种以上,数据关联是在复杂的数据中存在一类重要的可被发现的知识;三是概念描述。概念描述分为特征性描述和区别性描述;四是偏差检测。
3数据挖掘技术的步骤分析
3.1处理过程
数据挖掘虽然能够实现在复杂的数据库中寻求自己的数据资源,但是其需要建立人工模型,根据人工模型实现对数据的统计、分析以及利用等。
3.2关键技术
4数据挖掘技术的实践应用
5结语
总之数据挖掘技术在实践中的广泛应用,为我国互联网+战略提供了关键技术支撑,但是由于数据挖掘技术在实践中还存在某些技术问题,比如各种模型和技术难于集成、缺少与数据库系统耦合的通用API或挖掘系统仅提供孤立的知识发现功能,难于嵌入大型应用等问题导致挖掘技术在实践中的应用还存在缺陷,因此需要我们加大对数据挖掘技术的进一步研究,以此更好地实现“互联网+”战略。
作者:陈建伟李丽坤单位:安阳职业技术学院
随着信息技术迅速发展，数据库的规模不断扩大，产生了大量的数据。但大量的数据往往无法辨别隐藏在其中的能对决策提供支持的信息，而传统的查询、报表工具无法满足挖掘这些信息的需求。因此，需要一种新的数据分析技术处理大量数据，并从中抽取有价值的潜在知识，数据挖掘（DataMining）技术由此应运而生。
一、数据挖掘的定义
数据挖掘是指从数据集合中自动抽取隐藏在数据中的那些有用信息的非平凡过程，这些信息的表现形式为：规则、概念、规律及模式等。它可帮助决策者分析历史数据及当前数据，并从中发现隐藏的关系和模式，进而预测未来可能发生的行为。数据挖掘的过程也叫知识发现的过程。
二、数据挖掘的方法
1.统计方法。传统的统计学为数据挖掘提供了许多判别和回归分析方法，常用的有贝叶斯推理、回归分析、方差分析等技术。贝叶斯推理是在知道新的信息后修正数据集概率分布的基本工具，处理数据挖掘中的分类问题，回归分析用来找到一个输入变量和输出变量关系的最佳模型，在回归分析中有用来描述一个变量的变化趋势和别的变量值的关系的线性回归，还有用来为某些事件发生的概率建模为预测变量集的对数回归、统计方法中的方差分析一般用于分析估计回归直线的性能和自变量对最终回归的影响，是许多挖掘应用中有力的工具之一。
2.关联规则。关联规则是一种简单，实用的分析规则，它描述了一个事物中某些属性同时出现的规律和模式，是数据挖掘中最成熟的主要技术之一。关联规则在数据挖掘领域应用很广泛适合于在大型数据集中发现数据之间的有意义关系，原因之一是它不受只选择一个因变量的限制。大多数关联规则挖掘算法能够无遗漏发现隐藏在所挖掘数据中的所有关联关系，但是，并不是所有通过关联得到的属性之间的关系都有实际应用价值，要对这些规则要进行有效的评价，筛选有意义的关联规则。
3.聚类分析。聚类分析是根据所选样本间关联的标准将其划分成几个组，同组内的样本具有较高的相似度，不同组的则相异，常用的技术有分裂算法，凝聚算法，划分聚类和增量聚类。聚类方法适合于探讨样本间的内部关系，从而对样本结构做出合理的评价，此外，聚类分析还用于对孤立点的检测。并非由聚类分析算法得到的类对决策都有效，在运用某一个算法之前，一般要先对数据的聚类趋势进行检验。
4.决策树方法。决策树学习是一种通过逼近离散值目标函数的方法，通过把实例从根结点排列到某个叶子结点来分类实例，叶子结点即为实例所属的分类。树上的每个结点说明了对实例的某个属性的测试，该结点的每一个后继分支对应于该属性的一个可能值，分类实例的方法是从这棵树的根结点开始，测试这个结点指定的属性，然后按照给定实例的该属性值对应的树枝向下移动。决策树方法是要应用于数据挖掘的分类方面。
5.神经网络。神经网络建立在自学习的数学模型基础之上，能够对大量复杂的数据进行分析，并可以完成对人脑或其他计算机来说极为复杂的模式抽取及趋势分析，神经网络既可以表现为有指导的学习也可以是无指导聚类，无论哪种，输入到神经网络中的值都是数值型的。人工神经元网络模拟人脑神经元结构，建立三大类多种神经元网络，具有非线形映射特性、信息的分布存储、并行处理和全局集体的作用、高度的自学习、自组织和自适应能力的种种优点。
6.遗传算法。遗传算法是一种受生物进化启发的学习方法，通过变异和重组当前己知的最好假设来生成后续的假设。每一步，通过使用目前适应性最高的假设的后代替代群体的某个部分，来更新当前群体的一组假设，来实现各个个体的适应性的提高。遗传算法由三个基本过程组成:繁殖(选择)是从一个旧种群(父代)选出生命力强的个体，产生新种群(后代)的过程；交叉〔重组)选择两个不同个体〔染色体)的部分(基因)进行交换，形成新个体的过程；变异(突变)是对某些个体的某些基因进行变异的过程。在数据挖掘中，可以被用作评估其他算法的适合度。
7.粗糙集。粗糙集能够在缺少关于数据先验知识的情况下，只以考察数据的分类能力为基础，解决模糊或不确定数据的分析和处理问题。粗糙集用于从数据库中发现分类规则的基本思想是将数据库中的属性分为条件属性和结论属性，对数据库中的元组根据各个属性不同的属性值分成相应的子集，然后对条件属性划分的子集与结论属性划分的子集之间上下近似关系生成判定规则。所有相似对象的集合称为初等集合，形成知识的基本成分。任何初等集合的并集称为精确集，否则，一个集合就是粗糙的(不精确的)。每个粗糙集都具有边界元素，也就是那些既不能确定为集合元素，也不能确定为集合补集元素的元素。粗糙集理论可以应用于数据挖掘中的分类、发现不准确数据或噪声数据内在的结构联系。
8.支持向量机。支持向量机(SVM)是在统计学习理论的基础上发展出来的一种新的机器学习方法。它基于结构风险最小化原则上的，尽量提高学习机的泛化能力，具有良好的推广性能和较好的分类精确性，能有效的解决过学习问题，现已成为训练多层感知器、RBF神经网络和多项式神经元网络的替代性方法。另外，支持向量机算法是一个凸优化问题，局部最优解一定是全局最优解，这些特点都是包括神经元网络在内的其他算法所不能及的。支持向量机可以应用于数据挖掘的分类、回归、对未知事物的探索等方面。
事实上，任何一种挖掘工具往往是根据具体问题来选择合适挖掘方法，很难说哪种方法好，那种方法劣，而是视具体问题而定。
三、结束语
1大数据时代数据挖掘的重要性
随着互联网、物联网、云计算等技术的快速发展，以及智能终端、网络社会、数字地球等信息体的普及和建设，全球数据量出现爆炸式增长，仅在2011年就达到1.8万亿GB。IDC（InternetDataCenter，互联网络数据中心）预计，到2020年全球数据量将增加50倍。毋庸置疑，大数据时代已经到来。一方面，云计算为这些海量的、多样化的数据提供存储和运算平台，同时数据挖掘和人工智能从大数据中发现知识、规律和趋势，为决策提供信息参考。
如果运用合理的方法和工具，在企业日积月累形成的浩瀚数据中，是可以淘到沙金的，甚至可能发现许多大的钻石。在一些信息化较成熟的行业，就有这样的例子。比如银行的信息化建设就非常完善，银行每天生成的数据数以万计，储户的存取款数据、ATM交易数据等。
数据挖掘是借助IT手段对经营决策产生决定性影响的一种管理手段。从定义上来看，数据挖掘是指一个完整的过程，该过程是从大量、不完全、模糊和随机的数据集中识别有效的、可实用的信息，并运用这些信息做出决策。
2数据挖掘的分类
数据挖掘技术从开始的单一门类的知识逐渐发展成为一门综合性的多学科知识，并由此产生了很多的数据挖掘方法，这些方法种类多，类型也有很大的差别。为了满足用户的实际需要，现对数据挖掘技术进行如下几种分类：
2.1按挖掘的数据库类型分类
2.2按挖掘的知识类型分类
2.3按所用的技术类型分类
数据挖掘的时候采用的技术手段千变万化，例如可以采用面向数据库和数据仓库的技术以及神经网络及其可视化等技术手段，同时用户在对数据进行分析时也会使用很多不同的分析方法，根据这些分析方法的不同可以分为遗传算法、人工神经网络等等。一般情况下，一个庞大的数据挖掘系统是集多种挖掘技术和方法的综合性系统。
2.4按应用分类
根据数据挖掘的应用的领域来进行分类，包括财经行业、交通运输业、网络通信业、生物医学领域如DNA等，在这些行业或领域中都有满足自身要求的数据挖掘方法。对于特定的应用场景，此时就可能需要与之相应的特殊的挖掘方法，并保证其有效性。综上所述，基本上不存在某种数据挖掘技术可以在所有的行业中都能使用的技术，每种数据挖掘技术都有自身的专用性。
3数据挖掘中常用的方法
目前数据挖掘方法主要有4种，这四种算法包括遗传、决策树、粗糙集和神经网络算法。以下对这四种算法进行一一解释说明。
遗传算法：该算法依据生物学领域的自然选择规律以及遗传的机理发展而来，是一种随机搜索的算法，利用仿生学的原理来对数据知识进行全局优化处理。是一种基于生物自然选择与遗传机理的随机搜索算法，是一种仿生全局优化方法。这种算法具有隐含并行性、易与其它模型结合等优点从而在数据挖掘中得到了应用。
决策树算法：在对模型的预测中，该算法具有很强的优势，利用该算法对庞大的数据信息进行分类，从而对有潜在价值的信息进行定位，这种算法的优势也比较明显，在利用这种算法对数据进行分类时非常迅速，同时描述起来也很简洁，在大规模数据处理时，这种方法的应用性很强。
粗糙集算法：这个算法将知识的理解视为对数据的划分，将这种划分的一个整体叫做概念，这种算法的基本原理是将不够精确的知识与确定的或者准确的知识进行类别同时进行类别刻画。
神经网络算法：在对模型的预测中，该算法具有很强的优势，利用该算法对庞大的数据信息进行分类，从而对有潜在价值的信息进行定位，这种算法的优势也比较明显，在利用这种算法对数据进行分类时非常迅速，同时描述起来也很简洁，在大规模数据处理时，这种方法的应用性很强。光缆监测及其故障诊断系统对于保证通信的顺利至关重要，同时这种技术方法也是顺应当今时代的潮流必须推广使用的方法。同时，该诊断技术为通信管网和日常通信提供了可靠的技术支持和可靠的后期保证。
1大数据时代
随着计算机技术全面融入社会生活，经过半个多世纪的发展，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。最先经历信息爆炸的学科，如天文学和基因学，创造出了“大数据”这个概念。
1.1大数据时代产生的背景
（1）信息科技的进步。信息处理、信息存储和信息传递是信息科技的三个主要支撑，存储设备性价比不断提升、网络带宽的持续增加，为大数据的存储和传播提供了物质基础。
（3）物联网的发展。众所周知，物联网时代所创造的数据不是互联网时代所能比拟的，而且物联网的数据是异构的、多样性的、非结构和有噪声的，最显著的特点是是它的高增长率。大数据是物联网中的关键技术，物联网对大数据技术的要求更高，它的发展离不开大数据。
1.2大数据与数据挖掘
Google、Amazon、Facebook、Twitter，这些称霸全球互联网的企业，它们的成功都具备一个共同的因素，就是收集分析海量的各种类型的数据，并能够快速获取影响未来的信息的能力。“购买了此商品的顾客还购买了这些商品”，这恐怕是世界上最广为人知的一种商品推荐系统了，而创造出这个系统的正是Amazon。Amazon通过分析商品的购买记录、浏览历史记录等庞大的用户行为历史数据，并与行为模式相似的其他用户的历史数据进行对照，提供出最适合的商品推荐信息。Facebook可以为用户提供类似“也许你还认识这些人”的提示，这种提示可以准确到令人恐怖的程度，而这正是对庞大的数据进行分析而得到的结果。这种以数据分析为核心的技术就是数据挖掘（datamining）。
从技术角度看，数据挖掘是从大量的、复杂的、不规则的、随机的、模糊的数据中获取隐含的、人们事先没有发觉的、有潜在价值的信息和知识的过程。从商业角度来说，数据挖掘是从庞大的数据库中抽取、转换、分析一些潜在规律和价值，从中获取辅助商业决策的关键信息和有用知识。大数据概念的提出，将为数据挖掘技术的发展和应用带来一个很大的机遇。
2数据挖掘
数据挖掘旨在从大数据中提取隐藏的预测性信息，用便于理解和观察的方式反映给用户，作为决策的依据。
2.1数据挖掘原理
数据挖掘又称为数据库中的知识发现（KnowledgeDiseoveryinDatabases，KDD），是一个从数据库或数据仓库中发现并抽取隐含的、明显未知的、具有潜在用处的信息的过程。数据挖掘一般流程主要包括三个阶段：数据准备、数据挖掘、结果解释和评价。在数据挖掘的处理过程中，数据挖掘分析方法是最为关键的。
（1）数据准备。数据准备是从海量数据源得到数据挖掘所用的数据，将数据集成到一起的过程。由于数据收集阶段得到的数据可能有一定的污染，即数据可能存在不一致，或有缺失数据、脏数据的存在，因此需通过数据整理，对数据进行清洗及预处理。
（2）数据挖掘。是数据挖掘中最关键的一步，使用智能的方法提取数据模式，例如决策树、分类和聚类、关联规则和神经网络等。首先决定要提取什么样的模型，然后选取相应的算法参数，分析数据从而得到可能形成知识的模式模型。
（3）结果解释和评价。数据挖掘后的结果需要转换成用户能够理解的规则或模式，并根据其是否对决策问题具有实际意义进行评价。
2.2数据挖掘技术在营销中的应用
无差别的大众媒体营销已经无法满足零和的市场环境下的竞争要求。精准营销是企业现在及未来的发展方向，在精准营销领域，最常用的数据挖掘分析方法包括分类、聚类和关联三类。
（2）分类分析。分类是假定数据库中的每个对象属于一个预先给定的类，从而将数据库中的数据分配到给定的类中。它属于预测性模型，例如在银行业，事先定义用户的信用状况分为两类：信用好和信用坏，对于一个信用状态未知的用户，如果需要确定其信用度，可以采用“决策树”法构建一个分类模型，决策树方法着眼于从一组无次序、无规则的客户数据库中推理出决策树表现形式的分类规则。决策树的非叶子节点均是客户的一些基本特征，叶子节点是客户分类标识，由根节点至上而下，到每个叶子节点，就生成了一条规则，由该决策树可以得到很多规则，构成了一个规则集合，从而进行数据分析。
（3）聚类分析。聚类是将物理或抽象对象的集合进行分组，然后组成为由类似或相似的对象组成的多个分类的分析过程，其目的就是通过相似的方法来收集数据分类。为品牌找客户，回答品牌“谁来卖”是精准营销首先要解决的问题，科学细分客户是解决这一问题的有效手段。聚类可以将目标客户分成多个类，同一个类中的客户有很大的相似性，表现在购买行为的高度一致，不同类间的客户有很大的相异性，表现在购买行为的截然不同。
3结语
大数据时代背景下“数据成为资产”，数据挖掘技术作为支撑精准营销的重要手段，将它应用于营销行业的决策中，不仅拓展了数据挖掘技术的应用范围，而且大数据时代的数据挖掘技术可以帮助企业获得突破性回报。
[1]维克托迈尔―舍恩伯格；肯尼思库克耶.大数据时代：生活、工作与思维的大变革[M].周涛译.杭州：浙江人民出版社，2013.
[2]王伟玲.大数据产业的战略价值研究与思考.技术经济与管理研究[J]，2015（1）.
【关键词】大数据数据挖掘分类聚类
1大数据的概念
1.2多样化
从数据组织形式的角度将数据分为结构化数据和非结构化数据。结构化数据，具有一定的规律，可以使用二维表结构来表示，并存储在数据库中，如高校的教务管理系统的数据、银行交易产生的数据。而非结构化数据是无法通过预先定义的数据模型表达并存储在数据库中的数据，如声音、视频和图片等等。当前非结构化数据的增长速度远远超过结构化数据。
1.3快速化
在当前商业竞争激烈的时代，对实时的数据进行分析和处理，挖掘有用的数据信息，并用于商业运作，对于企业和组织来说非常重要。如现在网络购物会依据多数人的购物组合，分析出大部分人在购买一件物品的同时会同时购买其他的物品，从而在购物选择时给予方便，提高网购的效率，提高效益。
随着互联网技术和计算机技术的快速发展，在产生大数据的同时，人们要能够对这些数据加以利用，得到有用的信息，才是最重要的。为了让海量规模的数据能够真正发挥巨大的作用，需要将这些数据转换为有用的信息和知识，即从传统的数据统计向数据挖掘和分析进行转换。比如沃尔玛超市能够从男人购物时买啤酒的同时会购买小孩的纸尿裤这种关联，并在实际物品摆放时将这两种物品放置在一起，方便用户购物。
随着信息技术应用的广泛，大量的数据产生并存储各个领域的信息系统中，数据呈现了爆炸式的增长。数据挖掘在这种“数据爆炸，知识匮乏”的情况下出现的。数据挖掘（Datamining）是一个多学科交叉的研究领域，它融合了数据库技术、机器学习、人工智能、知识工程和统计学等学科领域。数据挖掘在很多领域尤其是电信、银行、交通、保险和零售等商业领域得到广泛的应用。
数据挖掘也称为从数据中发现知识，具体来讲就是从大规模海量数据中抽取人们所感兴趣的非平凡的、隐含的、事先未知的和具有潜在用途的模式或者知识。
3数据挖掘的主要研究内容
3.1聚类分析
聚类是将数据划分成群组的过程，根据数量本身的自然分布性质，数据变量之间存在的程度不同的相似性（亲疏关系），按照一定的准则将最相似的数据聚集成簇。主要包括划分聚类算法，层次聚类算法和密度聚类算法等。经典算法有K-Means、K-Medoids。
3.2特性选择
3.3特征抽取
特征抽取式数据挖掘技术的常用方法，是一个属性降维的过程，实际为变换属性，经变换了的属性或者特性，是原来属性集的线性合并，出现更小更精的一组属性。常用算法如主成分分析法、因子分析法和非负矩阵因子法等。
3.4关联规则
3.5分类和预测
分类是应用已知的一些属性数据去推测一个未知的离散型的属性数据，而这个被推测的属性数据的可取值是预先定义的。要很好的实现推测，需要事先定义一个分类模型。可用于分类的算法有决策树、朴素贝叶斯分类、神经网络、logistic回归和支持向量机等。
4结论
随着时代的进步，数据也发生变化，具有各种各样的复杂形式。很多研究机构和个人在对结构化数据进行数据挖掘的同时，也展开了对空间数据、多媒体数据、时序数据和序列数据、文本和Web等数据进行数据挖掘和分析。同时大数据的发展促进了云计算的产生，基于云计算的数据挖掘也在迅速崛起。
[1]刘军.大数据处理[M].北京：人民邮电出版社，2013（09）.
[2]王元卓等.网络大数据：现状与展望[J].计算机学报，2013（06）.
[3]申彦.大规模数据集高效数据挖掘算法研究[D].江苏大学，2013（06）.
[4]（加）洪松林.数据挖掘技术与工程实践[M].北京：机械工业出版社，2014.
[5]贺瑶等.基于云计算的海量数据挖掘研究[J].计算机技术与发展，2013（02）.
作者简介
许凡（1996-），男，江苏省南京市人。现就读三江学院计算机科学与工程学院计算机软件工程专业本科。
一、Web数据挖掘定义及分类
Web数据挖掘(WebDateMining),简称Web挖掘,是数据挖掘技术在Web环境下的应用,是从数据挖掘、计算机技术、信息科学等多个领域进行的一项技术。
Web数据挖掘的分类根据数据挖掘对象的不同可以将Web数据挖掘分为Web内容挖掘、Web结构挖掘和Web访问信息挖掘三类(见图1)。Web内容挖掘就是指从Web的文档中发现提取有用信息;Web结构挖掘是指对html页面间的链接结构进行挖掘;Web访问信息挖掘是从网络访问者的交谈或活动中提取信息。
二、Web数据挖掘的过程
数据挖掘的过程可以分为6个步骤:
(一)理解业务:从商业的角度理解项目目标和需求,将其转换成一种数据挖掘的问题定义,设计出达到目标的一个初步计划。
(二)理解数据:收集初步的数据,进行各种熟悉数据的活动。包括数据描述,数据探索和数据质量验证等。
(三)准备数据:将最初的原始数据构造成最终适合建模工具处理的数据集。包括表、记录和属性的选择,数据转换和数据清理等。
(四)建模:选择和应用各种建模技术,并对其参数进行优化。
(五)模型评估:对模型进行较为彻底的评价,并检查构建模型的每个步骤,确认其是否真正实现了预定的商业目的。
三、Web数据挖掘的常用工具
Web数据挖掘工具如果按用途分,可分为:Web文本信息挖掘工具、用户访问模式挖掘工具或用户导航行为挖掘工具和综合性的web分析工具。Web文本信息挖掘工具主要完成两方面的功能:信息检索和对文本的分析。IBM公司的产品IntelligentMiner中的web挖掘工具IntelligentMinerforText就是比较好的文本信息挖掘工具。用户模式挖掘工具通常实现的方法是对SeverLogs、ErrorLogs和CookieLogs等日志文件分析挖掘出用户访问行为、频度和内容等信息,从而找出一定的模式和规则。由SstphenTumer博士编制的免费个人软件Analog是一个用来分析ServerLogs的工具。
四、数据挖掘的应用现状
数据挖掘是一个新兴的边缘学科,它汇集了来自机器学习、模式识别、数据库、统计学、人工智能以及管理信息系统等各学科的成果。多学科的相互交融和相互促进,使得这一新学科得以蓬勃发展,而且已初具规模。在美国国家科学基金会(NSF)的数据库研究项目中,KDD被列为90年代最有价值的研究项目。人工智能研究领域的科学家也普遍认为,下一个人工智能应用的重要课题之一,将是以机器学习算法为主要工具的大规模的数据库知识发现。尽管数据挖掘还是一个很新的研究课题,但它所固有的为企业创造巨大经济效益的潜力,已使其很快有了许多成功的应用,具有代表性的应用领域有市场预测、投资、制造业、银行、通讯等。
美国钢铁公司和神户钢铁公司利用基于数据挖掘技术的ISPA系统,研究分析产品性能规律和进行质量控制,取得了显著效果。通用电器公司(GE)与法国飞机发动机制造公司(sNEcMA),利用数据挖掘技术研制了CASSIOP.EE质量控制系统,被三家欧洲航空公司用于诊断和预测渡音737的故障,带来了可观的经济效益。该系统于1996年获欧洲一等创造性应用奖。