从数据本身来考虑,数据挖掘通常需要有信息收集、数据集成、数据规约、数据清理、数据变换、数据挖掘实施过程、模式评估和知识表示8个步骤。
CRISP-DM(cross-industrystandardprocessfordatamining),即为“跨行业数据挖掘标准流程”。此KDD过程模型于1999年欧盟机构联合起草。通过近几年的发展,CRISP-DM模型在各种KDD过程模型中占据领先位置,采用量达到近60%。一个数据挖掘项目的生命周期包含六个阶段。这六个阶段的顺序是不固定的,我们经常需要前后调整这些阶段。这依赖每个阶段或是阶段中特定任务的产出物是否是下一个阶段必须的输入。
上图的外圈象征数据挖掘自身的循环本质――在一个解决方案发布之后一个数据挖掘的过程才可以继续。在这个过程中得到的知识可以触发新的,经常是更聚焦的商业问题。后续的过程可以从前一个过程得到益处。具体步骤如下:
事实上,就方法学而言,CRISP-DM并不是什么新观念,本质来看就是在分析应用中提出问题、分析问题和解决问题的过程。而可贵之处在于其提纲挈领的特性,非常适合工程管理,适合大规模定制,以至CRISP-DM如今已经成为事实上的行业标准。
SEMMA包含S(sample)、E(explore)、M(modify)、M(model)和A(access)共五个部分。他们在数据挖掘的流程中又起到各自不同的作用。限于篇幅,主要概括如下:
1.Sample──数据取样
2.Explore──数据特征探索、分析和处理
3.Modify──问题明确化、数据调整和技术选择
通过上述两个步骤的操作,对数据的状态和趋势可能有了进一步的了解。对原来要解决的问题可能会有了进一步的明确;这时要尽可能对问题解决的要求能进一步的量化。没有问题的进一步明确,就无法进行有效的数据挖掘操作。需要注意的是:在数据挖掘的各个阶段中,数据挖掘的产品都要使所使用的数据和所将建立模型处于十分易于调整、修改和变动的状态,这才能保证数据挖掘有效的进行。
4.Model──模型的研发、知识的发现
这一步是数据挖掘工作的核心环节。按照SAS提出的SEMMA方法论走到这一步时,你对应采用的技术已有了较明确的方向;你的数据结构和内容也有了充分的适应性。SAS在这时也向你提供了充分的可选择的技术手段:回归分析方法等广泛的数理统计方法;关联分析方法;分类及聚类分析方法;人工神经元网络;决策树……等。
5.Assess──模型和知识的综合解释和评价
从上述过程中将会得出一系列的分析结果、模式或模型。同一个数据源可以利用多种数据分析方法和模型进行分析,ASSESS的目的之一就是从这些模型中自动找出一个最好的模型出来,另外就是要对模型进行针对业务的解释和应用。若能从模型中得出一个直接的结论当然很好。但更多的时候会得出对目标问题多侧面的描述。这时就要能很好的综合它们的影响规律性提供合理的决策支持信息。所谓合理,实际上往往是要你在所付出的代价和达到预期目标的可靠性的平衡上做出选择。假如在你的数据挖掘过程中,就预见到最后要进行这样的选择的话,那末你最好把这些平衡的指标尽可能的量化,以利你综合抉择。
AOSP-SM(即'应用为导向的敏捷挖掘标准流程'的缩写)是SMARTBI开发者们基于IBM的跨行业数据挖掘过程标准(CRISP-DM)和SAS的数据挖掘方法(SEMMA)总结而来的一种面向应用的用于指导数据挖掘工作的方法。
作为一种方法,它包含项目中各个典型阶段的说明、每个阶段所包含的任务以及这些任务之间的关系的说明。作为一种流程化建模方法论,AOSP-SM概述了数据挖掘的整个过程。
整个流程由五个阶段组成,阶段之间并不一定要严格遵守顺序。实际上,大多数项目都会根据需要在这些阶段之间反复中优化。AOSP-SM模型具备灵活性,并不一定完全按照这几步完成。
步骤1:商业目标
1、确定业务目标:这是我们开始数据挖掘的第一步。在我们确定是否要启动数据挖掘项目时,首先要对相应的业务进行梳理。通过对业务进行了解,可以明确业务中存在问题,以及是否可以通过数据挖掘的手段解决相应的问题。
2、评估情况:既然已经有了一个明确指定的目标,现在应该评估处于什么情况。这一步骤需要询问一些问题。
3、确定数据挖掘目标:既然已经明确了业务目标,现在应该将其转换为数据挖掘目标。
4、制定实施方案:现在,可以制定数据挖掘项目的计划了。之前询问的那些问题以及详细制定的业务和数据挖掘目标将作为这个路线图的基础。
步骤2:数据准备
2、数据审核:数据审核的工作是非常必要的,因为数据从来都不是完美的,只有保证输入的质量,才可以保证模型输出成果的可靠。
步骤3:建模
1、建模概述:数据准备主要是面向模型而准备,当制定了项目实施方案时,基本已确定分析思路和计划使用的算法。建模时通常会执行多次迭代。仅使用一个模型且仅执行一次就能圆满地解答组织的数据挖掘问题,这样的情况几乎不存在。
2、选择建模技术:尽管可能已经知道哪种类型的建模方式可以尝试,但现在还无法确定使用哪个模型是最好的。
3、模型测试设计:一个好的模型不仅要准确更要稳定。为了最终测试模型的优劣,需要提前设计一个测试标准。
4、构建模型:通常我们对预判出的最好的前三种模型分别进行建模,从三种模型中分别训练出最优的模型。
5、评估模型:得到的模型是否有效,不仅要看模型的准确度,更要看模型的稳定性。同时还要安排测试工程师审核整个建模过程,保证建模的合理性,包括再次确认是否模型中引入了不合理的变量以及字段取值是否失衡。
步骤4:评估
1、评估概述:在建模阶段构建的模型从技术上说是正确而且有效的。但是,前面的模型还不能直接运用到商业中去。还应该使用在项目开始时设立的业务成功标准评估模型。
3、确定后续步骤:至今为止,已经生成了结果并且评估了的数据挖掘过程,这一阶段将帮助根据数据挖掘业务目标回答上述问题。
步骤5:应用
1、概述:数据挖掘可以生成两种类型的成果:在前期阶段中选定的最终模型;从模型本身以及数据挖掘过程中得出的任意结论或推论,包括派生的一些重要的KPI指标、数据质量或业务流程优化方案、未来规划等。
3、执行方案:在系统试运行结束后,可以正式将挖掘成果运用到商业环境中,为企业创造价值。
注:本文正文部分分别由整理谭磊《大数据挖掘》、SAS_Miner博客《SAS数据挖掘方法论─SEMMA》和SMARTBI教学资料而来,仅作学习笔记以供学习之用。