1、数据挖掘,概念与技术,第一章引言,本章目标理解对大型的、复杂的和信息丰富的数据集进行分析的必要性。明确数据挖掘过程的目标和首要任务。描述数据挖掘技术的起源。了解数据挖掘过程所具有的迭代过程和基本步骤。解释数据的质量对数据挖掘过程的影响。建立数据仓库和数据挖掘之间的联系。,1.1概述,数据化信息产业的发展引发了数据的大量聚集，而如何将这些数据转化成有用有信息和知识是信息领域所面临的问题。在数据库开发设计中经历了二个阶段的演化：,第一阶段：数据收集和数据库创建，数据管理引发了数据存储和检索，数据库事务处理技术研究。第二阶段：数据分析与理解引发了数据仓库和数据挖掘技术的研究。数据仓
3、数据挖掘的基本任务：1.分类：2.回归：3.聚类：4.总结概括：5.关联建模：6.变化与偏差检测：,大部分数据挖掘问题和相应的解决方法都起源于传统的数据分析。数据挖掘起源于多种学科，主要是统计学和机器学习。统计学起源于数学，它强调数上精确；机器学习主要起源于计算机实践，它侧重于对事物的检验，确定它表现的好坏。,1.2数据挖掘的起源,数据挖掘中的基本模型法则起源于控制理论，控制理论主要应用于工程系统和工业过程。在控制理论中通过观察一个未知系统的输入输出信息，来决定其数学模型的问题常被称为系统识别。系统识别是多样化的，从数据挖掘的立场出发是预测系统的行为，并解释系统变量之间的相
5、法”，数据随机产生。通常收集完成后取样的分布也是完全未知的，或者是在数据收集过程中部分或者不明确地给出，但要理解数据收集是怎样影响它的理论分布的，这一点相当重要。,1.3.3数据预处理,数据常常采集于已有的数据库、数据仓库和数据集市中。数据预处理有两个任务：1.异常点的检测(和去除)：异常点是与众不同的数值，它们与大多数观察值不一致。2.比例缩放、编码和选择特征：数据预处理包括各种比例缩放和不同类型的编码。例如：取1，0的特征和取-100，100的特征，其加权值是不一样的，对数据挖掘的结果的影响也不尽相同。因此进行比例缩放使它们的加权相同。,1.3.4模型评估,选择并实现适当的数据
7、据和存储数据的能力。在数据收集和数据的组织给力与分析能力之间存在的差距正在迅速扩大。问题的根源是：对于手工分析和解释来说，或者甚至对半自动的基于计算机的分析来说，数据的规模和维数实在太大了。,1.4大型数据集,面对的问题是：1.对每一数据点都有几十条或几百条特征描述的几百万数据点进行有效在挖掘；2.对几千兆字节的高分辨率的空摄图像进行分析；3.对千百个组成部分的人类基因组数据库。,1.5数据仓库,虽然数据仓库的存在并不是数据挖掘的先决条件，但通过对数据仓库的访问，数据挖掘任务变得容易多了，尤其是大公司或医院。定义：数据仓库是一个集成的，面向主题的、设计用于决策功能（DSF）的数据库的