在继续本教程之前，您应该有基本的数据库概念，如架构，ER模型，结构化查询语言和数据仓库概念，基本知识的理解。如果你不知道关于数据仓库，然后先通过数据仓库的教程。研究数据仓库之后教程后，了解数据挖掘教程更有效。
有大量的数据在信息产业使用。这个数据是没有用的，直到转化为有用的信息。浅析这个庞大的数据量，并从中提取有用的信息是必要的。
信息的提取不是我们必须执行，这也涉及到其他进程，如数据清理，数据集成，数据转换，数据挖掘，模式评估和数据演示的唯一进程。一旦所有这些过程都结束了，我们现在的位置，以使用这些信息在许多应用，如欺诈检测，市场分析，生产控制，科学探索等。
数据挖掘是指从大量的数据集提取信息。换句话说，我们可以说，数据挖掘是从数据挖掘领域的知识。此信息可用于任何以下应用程序：
以下是下面列出的理由：
下面是数据挖掘的应用程序列表：
以下是市场，数据挖掘使用的各个领域：
以下是企业部门在数据挖掘使用的各个领域：
数据挖掘技术也用在其他领域，如体育，占星术和互联网的Web冲浪辅助。
数据挖掘涉及什么样的模式可以开采。挖掘出来的数据在基础上有2种涉及数据挖掘的功能，列出如下：
描述功能处理数据在数据库中的一般属性。下面是描述性的功能列表：
频繁模式是那些经常出现在交易数据模式。下面是那种频繁模式的列表：
关联被用在零售销售，以识别经常一起购买的模式。这个过程是指揭示数据之间的关系，并确定关联规则的过程。
集群是指一组相似的对象的类型的。聚类分析是指形成组非常相似彼此但与在其他簇中的对象高度不同的对象。
分类是找到一个模型，描述了数据类或概念的过程。的目的是为了能够使用该模型来预测类别的对象，它的类标签是未知的。此派生模型是基于训练数据集的分析。导出的模型可以提出下列形式：
以下是参与这个功能的列表：
Note:使用这些原语让我们的互动形式与数据挖掘系统通信。下面是数据挖掘任务原语的列表：
这是数据库，其中用户感兴趣的部分。这部分包括以下内容：
它指的是种将要执行的功能。这些功能是：
背景知识允许数据在多个层次的抽象挖掘。例如，概念层次结构的背景知识，使数据在多个抽象层次挖掘之一。
这是用来评估是发现通过知识发现过程的模式。有不同的兴趣度度量不同类型的知识。
这是指在其中发现的模式是将要显示的形式。这些陈述可能包括以下内容：
数据挖掘是不那么容易。所使用的算法是很复杂的。数据不可用在需要将其整合形成的各种异构数据源的一个地方。这些因素也造成了一些问题。在这里，在本教程中，我们将讨论有关重大问题：
下图描述的重大问题：
它是指下列类型的问题：
它指的是下列问题：
数据仓库表现出以下特点，以支持管理层的决策过程：
数据仓库的建设和使用数据仓库的过程。数据仓库是通过整合来自多个异构数据源的数据构成。这个数据仓库支持的分析报告，结构和/或特殊查询和决策。
数据仓库涉及数据清理，数据集成和数据整合。集成异构数据库集成到我们有两种方法如下异构数据库：
这是传统的方法来集成异构数据库。这种方法被用来建立封装和集成多个异构数据库的顶部。这些积分器也被称为介质。
这种方法有以下缺点：
我们提供了另一种方法来传统的方法。今天的数据仓库系统如下更新驱动的方法，而不是前面讨论的传统方法。在更新驱动的方法从多个异构数据源的信息集成在预先存储在仓库中。此信息可直接查询和分析。
这种方法具有以下优点：
查询处理不需要接口与所述处理在本地源。
联机分析挖掘整合了联机分析处理与多维数据库的数据挖掘和知识挖掘。下面是显示集成OLAP和OLAM的图：
这里是OLAM的重要性列表：
数据挖掘引擎是非常必要的数据挖掘系统。它由一组功能模块。这些模块在以下任务：
这是领域知识。这方面的知识，用于指导搜索或计算得到的图案的趣味性。
有些人把数据挖掘一样的知识发现，而有些人认为在知识发现过程中的数据挖掘必不可少的步骤。以下是参与知识发现过程的步骤列表：
用户界面是数据挖掘系统的模块，可以帮助用户和数据挖掘系统之间的通信。用户接口允许以下功能：
数据集成是合并来自多个异构数据源的数据转换成一个连贯的数据存储中的数据预处理技术。数据集成可能涉及的数据不一致，因此需要数据清理。
数据清理是应用于以去除噪声的数据和校正数据中的不一致之处的一种技术。数据清理涉及转换改正错误的数据。数据清洗，同时准备数据的数据仓库进行数据预处理步骤。
在这个步骤中的数据是由执行汇总或聚集操作转化或合并成适合挖掘的形式。
有些人对待数据挖掘和知识发现一样，而有些人认为在知识发现过程中的数据挖掘必不可少的步骤。以下是参与知识发现过程的步骤列表：
下图显示了知识发现过程的流程：
有数据挖掘系统提供种类繁多。数据挖掘系统可以从以下集成技术：
数据挖掘系统可以根据以下标准来分类：
我们可根据来样挖掘数据库中的数据挖掘系统进行分类。数据库系统可根据不同的标准，如数据模型，数据的类型等而数据挖掘系统可以相应地被分类进行分类。例如，如果我们按照数据模型的数据库进行分类，然后我们可能有一个关系，事务，对象-关系，或数据仓库挖掘系统。
我们可以根据类型的知识挖掘的数据挖掘系统进行分类。它是表示数据挖掘系统被分类的功能，例如为基础：
我们可根据来样用技术的数据挖掘系统进行分类。我们可以根据参与用户交互或分析采用的方法的程度描述了这些技术。
我们可以根据应用程序适应数据挖掘系统的分类。这些应用如下：
数据挖掘系统需要与数据库或数据仓库系统进行集成。如果该数据挖掘系统不与任何数据库或数据仓库系统集成的话，会有没有系统进行通信。这项计划被称为非耦合方案。在这个方案的重点放在数据挖掘设计和开发高效率和有效的算法来挖掘现有数据集。
数据挖掘查询语言提出由Han,Fu,Wang等DBMiner数据挖掘系统。数据挖掘查询语言实际上是基于结构化查询语言（SQL）。数据挖掘查询语言可以设计为支持adhoc和交互式数据挖掘。DMQL提供的命令来指定原语。DMQL可以与数据库中的数据仓库正常工作。数据挖掘查询语言可以用来定义数据挖掘任务。特别是我们研究如何定义数据挖掘查询语言数据仓库和数据集市。
usedatabasedatabase_name,orusedatawarehousedata_warehouse_nameinrelevancetoatt_or_dim_listfromrelation(s)/cube(s)[wherecondition]orderbyorder_listgroupbygrouping_list
在这里，我们将讨论的语法特征，辨析，关联，分类和预测。
特征语法是：
minecharacteristics[aspattern_name]analyze{measure(s)}Theanalyzeclause,specifiesaggregatemeasures,suchascount,sum,orcount%.Forexample:Descriptiondescribingcustomerpurchasinghabits.minecharacteristicsascustomerPurchasinganalyzecount%
判别语法是：
minecomparison[as{pattern_name]}For{target_class}where{target_condition}{versus{contrast_class_i}where{contrast_condition_i}}analyze{measure(s)}
例如，用户可以定义bigSpenders作为购买物品的售价为100美元或以上的平均水平，budgetSpenders作为谁在低于100美元，平均购买商品的客户的客户。判别描述从每一类客户的挖掘可以在DMQL作为被指定：
minecomparisonaspurchaseGroupsforbigSpenderswhereavg(I.price)≥$100versusbudgetSpenderswhereavg(I.price)<$100analyzecount
关联的语法是：
mineassociations[as{pattern_name}]{matching{metapattern}}
实例：
mineassociationsasbuyingHabitsmatchingP(X:customer,W)^Q(X,Y)≥buys(X,Z)
注：其中，X是客户关系的关键，P和Q是谓词变量和W，Y和Z是对象变量。
分类的语法是：
mineclassification[aspattern_name]analyzeclassifying_attribute_or_dimension
例如，矿山模式进行分类客户信用评级，其中类由属性credit_rating确定，矿山划分为classifyCustomerCreditRating
analyzecredit_rating
预测的语法是：
mineprediction[aspattern_name]analyzeprediction_attribute_or_dimension{set{attribute_or_dimension_i=value_i}}
指定要使用什么概念层次：
usehierarchy
我们使用不同的语法来定义不同的类型层次结构，如：
-schemahierarchiesdefinehierarchytime_hierarchyondateas[date,monthquarter,year]-set-groupinghierarchiesdefinehierarchyage_hierarchyforageoncustomeraslevel1:{young,middle_aged,senior} 兴趣度度量和阈值可通过指定的语句的用户： with withsupportthreshold=0.05withconfidencethreshold=0.7 我们有自己的语法，它允许用户指定一个或多个形式发现的模式的显示。 displayas displayastable 作为一家公司的市场部经理，你想描绘谁购买售价不低于100美元的物品，WRT顾客的年龄，购买类型的项目，与发生在哪一个项目是做顾客的购买习惯。你想知道客户具有该特性的百分比。特别是，只关心在加拿大制造，及与美国运通（“美国运通”）信用卡支付购买。你想查看的一个表的形式所得到的描述。 usedatabaseAllElectronics_dbusehierarchylocation_hierarchyforB.addressminecharacteristicsascustomerPurchasinganalyzecount%inrelevancetoC.age,I.type,I.place_madefromcustomerC,itemI,purchaseP,items_soldS,branchBwhereI.item_ID=S.item_IDandP.cust_ID=C.cust_IDandP.method_paid="AmEx"andB.address="Canada"andI.price≥100withnoisethreshold=5%displayastable 标准化的数据挖掘语言将达到以下目的： 有两种形式的数据的分析，可以用于描述一种重要的类提取物的模型或预测未来的数据趋势。这两种形式如下： 这些数据的分析，有助于我们更好地理解大数据。分类预测分类和预测模型预测连续值函数。例如，我们可以建立一个分类模型，以银行贷款申请归类为安全或危险的，或者预测模型来预测在计算机设备给他们的收入和职业美元的潜在客户的支出。 以下情况下数据分析任务是分类的例子： 在上述两个例子，一个模型或分类器被构造来预测类别的标签。这些标签都是有风险的或安全的贷款申请资料和yes或no的营销数据。 以下情况下的数据分析任务是预测的例子： 假设营销经理需要预测多少给定的客户将在出售他的公司花。在这个例子中，我们刻意去预测数值。因此，数据分析的任务就是例子数值预测的。在这种情况下，模型或预测将构造，预测的连续值的函数或指令值。 注：回归分析是最常用的数字预测的统计方法。 我会尽量让你明白如何分类的？与我们上面所讨论的银行申请贷款的帮助。数据分类过程包括两个步骤： 在此步骤中，分类器被用于分类。这里的测试数据来估算的分类规则的准确性。分类规则可以应用到新的数据元组，如果准确度被认为是可以接受的。 主要的问题是准备数据的分类和预测。准备数据包括以下活动： 注意：数据也可以通过一些其他方法，如小波变换，离散化，直方图分析，聚类和减少。 这里是标准的分类比较和预测的方法： 决策树是一种结构，其中包括根节点，分支和叶子节点。每个内部节点表示在一个属性测试，每个分支表示测试的结果和每个叶节点包含类的标签。在树的最顶部的节点是根节点。 下面决策树是概念buy_computer，这表明在公司客户是否可能购买电脑或没有。每个内部节点表示在属性测试。每个叶节点代表一个类。 名为J.罗斯昆兰在1980年一台机器研究员开发了一种决策树算法。这决策树算法被称为ID3（迭代Dichotomiser）。后来，他给了C4.5这是ID3的继任者。ID3和C4.5采用贪心方法。在该算法中，没有回溯，树木是建于自上而下的递归的分而治之的方式。 树木修剪是为了在训练数据中删除异常由于噪声或离群值执行。在修剪树木是更小，更复杂。 下面是列出的树修剪途径： 成本复杂性测量由以下两个参数： 贝叶斯分类是根据贝叶斯定理。贝叶斯分类器的统计分类。贝叶斯分类器是能够预测类别成员概率，例如一个给定的元组属于一个特定类的概率。 托马斯·贝叶斯后贝叶斯定理命名。有两种类型的概率，如下所示： 其中，X是数据元组和H是一些假设。 根据贝叶斯定理 P(H/X)=P(X/H)P(H)/P(X) 我们可以利用受过训练的贝叶斯网络进行分类。以下是与该贝叶斯信仰也是已知的名称： 有两个组成部分来定义贝叶斯信仰网络： 下图显示了一个有向无环图六布尔变量。 图中的电弧使因果知识的表示。例如肺癌是肺癌的一个人的家族病史，以及影响的人是否是吸烟者。值得注意的是，该可变正X光不依赖于患者是否患有肺癌的家族史或者是吸烟者，因为我们知道患者有肺癌。 条件概率表变量LungCancer（LC），显示它的父节点，家族史（FH）和吸烟者（S）的值的每一种可能的组合的值。 基于规则的分类做出一套分级IF-THEN规则的使用。我们可以表达的规则，在以下选项： IFconditionTHENconclusion 让我们考虑一个规则，R1， R1:IFage=youthANDstudent=yesTHENbuy_computer=yes 要记住的要点： 注: 我们也可以写规则R1如下： R1:(age=youth)^(student=yes))(buyscomputer=yes) 如果该条件成立的真正对于一个给定的元组，那么前提是满意的。 在这里，我们将学习如何建立一个基于规则的分类器通过提取IF-THEN规则的决策树。要记住的要点从决策树提取规则： 连续的覆盖算法可以用来提取IF-THEN规则形成训练数据。我们不要求首先生成一个决策树。在该算法中每条规则对于一个给定的类包含了很多该类的元组。 注：决策树归纳可以被看作是同时学习一组规则。 Algorithm:SequentialCoveringInput:D,adatasetclass-labeledtuples,Att_vals,thesetofallattributesandtheirpossiblevalues.Output:ASetofIF-THENrules.Method:Rule_set={};//initialsetofruleslearnedisemptyforeachclasscdorepeatRule=Learn_One_Rule(D,Att_valls,c);removetuplescoveredbyRuleformD;untilterminationcondition;Rule_set=Rule_set+Rule;//addanewruletorule-setendforreturnRule_Set; 被修剪的原则是由于以下原因： FOIL是规则修剪的简单有效的方法之一。对于给定的规则R， FOIL_Prune=pos-neg/pos+neg pos和neg是由R覆盖，分别为正元组数。 注:此值将增加与R对修剪集的准确性。因此，如果FOIL_Prune值是对R的修剪版本高，那么我们修剪R。 在这里，在这个教程中，我们将讨论有关的其他分类方法，如遗传算法，粗糙集方法和模糊集途径。 遗传算法的思想是从自然进化而得。在遗传算法首先初始种群的建立。这个初始群体包括随机生成的规则。我们可以通过比特串代表的每个规则。 例如，假设在给定的训练集的样本由两个布尔属性，例如A1和A2中所述。而这个给定的训练集包含两个类，如C1和C2。 我们可以将规则编码如果A1和A2不那么C2为位串100。在该位表示两个最左边的位所代表的属性分别为A1和A2。 同样的规则IFNOTA1和A2的不那么C1可以被编码为001。 注意：如果属性的K值，其中K>2，那么我们就可以使用K比特编码的属性值。类也编码中相同的方式。 发现内不精确和噪声数据结构的关系，我们可以用粗糙集。 注意：这种方法只能在离散值属性被应用。因此，连续属性必须在使用前进行离散化。 粗糙集理论的基础上，建立等价类的给定的训练数据中。形成的等价类中的元组是不可分辨。这意味着样品是相同的wrt来描述数据的属性。 有一些班级在给定现实世界的数据，而不能在可用的属性方面加以区分。我们可以用粗糙集大致定义这些类。 对于一个给定的类，C粗糙集的定义是由两套近似如下： 下图显示了C类的上，下近似： 模糊集理论也被称为可能性理论。这个理论是由卢特菲扎德于1965年。这种方法是一种替代二值逻辑。这种理论使我们能够在工作的抽象程度高;这个理论也为我们提供手段来处理数据的不精确的测量。 模糊集理论还允许处理模糊或不精确的事实。例如是一套高收入的成员是不准确的（例如，如果50,000元，高那么约为49,00048000美元）。不像传统的CRISP组，其中任一元素属于S或它的补码，但在模糊集理论中的元素可以属于多于一个模糊集合。 例如，收入值49000美元同时属于中，高模糊集，但程度有所不同。这个收入值模糊集符号如下： mmedium_income($49k)=0.15andmhigh_income($49k)=0.96 其中m为隶属函数，操作上分别模糊集medium_income和high_income。这个符号可以图解显示如下： 集群是一组属于同一类的对象。换句话说，类似对象被分组在一个簇和异种分组在其他集群。 集群是制作小组抽象对象到类相似对象的过程。 你需要记住的 这里是聚类数据挖掘的典型要求： 聚类方法可以分为以下几种： 假设我们给出n个对象的数据库，该划分方法构建数据的k个分区。每个分区将代表一个集群和k≤|N。这意味着它将对数据进行分类成k个组，其中满足下列要求： 这个方法创建给定数据对象的层次分解。我们可以的层次分解是如何形成如下基础分层分类方法： 这种方法也被称为自下而上的方法。在此，我们开始与每个对象形成一个单独的组。它不断合并是彼此接近的物体或基团。它继续这样做，直到所有的组都合并成一个或直到终止条件成立。 这种方法也被称为自顶向下的方法。在此，我们开始都在同一个簇中的对象的。在连续的迭代中，簇被分裂成更小的簇。这是直到在一个集群或终止条件的每个对象保存。 坏处 这个方法是刚性的，即，一旦合并或拆分完成后，它不可能被撤消。 这里是用来提高层次聚类的质量的两种方法： 此方法是基于密度的概念。其基本思路是将继续增长给定的簇，只要在附近的密度超过某个阈值，即对于一个给定集群内的每一个数据点，在给定簇的半径必须包含点中的至少一个最小数目。 在这个对象一起从一个网格。对象空间量化成形成一个网格结构单元的数量有限。 优点 在该方法中，模型是假设每个簇并找到数据的给定模型的最佳拟合。此方法通过聚类的密度函数找出集群。这反映了数据点的空间分布。 这种方法也有助于自动决定基于标准的统计聚类数，取异常或噪声考虑的方式。因此，产生强大的聚类方法。 在该方法中，聚类是由用户或应用程序面向约束掺入执行。约束是指用户期望或希望的聚类结果的属性。约束给我们的集群进程间通信的交互方式。该约束可以由用户或应用程序的要求来指定。 信息检索处理的信息从大量的基于文本的文档检索。一些数据库系统通常不存在于信息检索系统中，因为两个处理不同类型的数据。以下是信息检索系统中的示例： 这种获取信息的被称为信息过滤。和相应的系统被称为过滤系统或推荐系统。 有评估文本检索的质量三项基本措施： Precision=|{Relevant}∩{Retrieved}|/|{Retrieved}| Recall=|{Relevant}∩{Retrieved}|/|{Relevant}| F值是常用的权衡。信息检索系统往往需要权衡精度或反之亦然。F值被定义为召回或精密的调和平均数如下： F-score=recallxprecision/(recall+precision)/2 在网络构成的基础上，以下意见供资源和知识发现的巨大挑战： 网页的基本结构是基于文档对象模型（DOM）。DOM结构指状结构树。在这种结构中的页的HTML标签对应于DOM树中的节点。我们可以分段使用预先定义的标签的HTML网页。在HTML的语法很灵活，因此，网页不遵循W3C规范。不遵循W3C的规范可能在DOM树结构导致错误。 DOM结构最初被引入供呈现在浏览器中不为所述网页的语义结构的描述。DOM结构不能正确识别网页的不同部分之间的语义关系。 下图显示的VIPS算法的程序： 数据挖掘技术被广泛应用于不同的领域。有今天的商业数据挖掘系统提供的数竟然有在这一领域的许多挑战。在本教程中，我们将应用程序和数据挖掘的发展趋势。 下面是在数据挖掘，广泛应用于区域列表： 在银行和金融业的财务数据一般是可靠的高品质极大方便了系统的数据分析和数据挖掘和。下面是几个典型的案例： 数据挖掘在零售行业的巨大应用，因为它来自于销售，客户购买历史，货物运输，消费和服务收集大量的数据。这是很自然的收集数据的数量将继续增加，因为易用性，可用性和网络的普及迅速扩大。 数据挖掘在零售业有助于识别客户的购买模式和趋势。这导致客户服务和良好的客户保留和满意质量的提高。下面是在零售行业的数据挖掘的例子列表： 在电信行业数据挖掘有助于确定电信模式，赶上欺诈行为，更好地利用资源，提高服务质量。这里是清单例子，其中数据挖掘提升电信服务： 现在天我们看到，有广阔的增长，生物，如基因组学，蛋白组学，功能基因组学和生物医学研究的领域。生物数据挖掘是生物信息学中非常重要的一部分。以下是在哪些方面进行生物数据分析数据挖掘有助于： 上面讨论的应用程序往往处理相对较小而均匀数据集的统计技术是适当的。巨大的数据量已收集到的科学领域，如地球科学，天文学等有大量的被产生，因为在各个领域，如气候和生态系统模拟，化学工程，流体力学等的快速数值模拟的数据集以下是数据挖掘在科学应用领域的应用： 入侵是指任何类型的行动，威胁网络资源的完整性，机密性或可用性。在这个世界连接的安全性已成为主要问题。随着工具和技巧互联网和可用性的提高使用率入侵和攻击网络提示入侵检测成为网络管理的重要组成部分。下面是其中的数据挖掘技术可以应用于入侵检测领域的列表： 有很多数据挖掘系统产品和特定领域的数据挖掘应用程序可用。新的数据挖掘系统和应用程序被添加到以前的系统。也正在作出对数据挖掘语言的标准化的努力。 其中数据挖掘系统的选择将取决于以下数据挖掘系统的特点： 以下是趋势的数据挖掘，反映追求如建筑集成和交互式数据挖掘的环境中，数据挖掘语言的设计挑战的清单： 各种理论的数据挖掘的基础包括以下内容： 一些统计数据挖掘技术如下： 该模型的泛化允许一个明确的响应变量可能与在地类似于数字响应变量的使用线性回归模型设定预测变量。 可视化数据挖掘使用的数据和/或知识可视化技术从大型数据集发现隐含的知识。可视化数据挖掘可以看作是以下学科的整合： 一般的数据可视化和数据挖掘可以集成在以下方面： 指示数据或数据挖掘结果的特征的图案，音频数据挖掘利用的音频信号。通过将模式转换成声音和沉思，而不是看图片，我们可以听球场，曲调，以确定什么有趣的事。 当今的消费者面临着种类繁多的商品和服务，而购物。在现场客户交易时，推荐系统通过使产品推荐帮助消费者。在协同过滤方法通常用于产品推荐给客户。这些建议是根据其他客户的意见。