数据挖掘模型和挖掘步骤技术方案

随着中国电信的改革重组,中国通信业取得了跨越式的发展,成为国民经济中发展速度最快的行业之一,中国通信业总规模现已在世界排名第一。与此同时,中国通信市场竞争也日趋激烈。通信运营商的经营观念逐渐从"技术质量第一"向"服务客户第一"转化。以前的营销模式已经无法满足客户的多样化、层次化、个性化的需求。长期以来,通信单位大量详尽的业务数据也只是被简单地应用在各种业务系统中,没有被更有效地开发利用。如何利用这些数据进一步拓宽通信业务,促进通信业务发展,从而为通信业提供决策支持服务,已经成为各个通信单位的当务之急。

客户细分模型和挖掘算法选择

构建客户分类模型需要用到第2章所介绍的一些技术。其中聚类技术就是其中之一。在前面的章节中我们曾了解到聚类和分类有着很大的区别:分类时,我们事先选择一些属性作为分类标准,通信企业总是会将重要的、有影响力的属性作为分类的依据;而在实际应用当中,通信企业事先根本不知道哪些属性会起到作用。而找到那些起关键作用的属性是聚类技术的任务之一。在通信客户分析中,聚类分析能够帮助我们发现特征迥异的不同客户群和对客户分类起关键作用的指标变量,并辅助运营商对各客户类别的特征进行深刻观察。通信客户从营销属性方面分为三类:普通客户、价值客户和黄金客户,其中普通客户消费行为有较大的随机性,分布较广,规律难寻,比较适于聚类分析。

本数据挖掘实例采用通话行为、数据业务使用情况等作为客户分类变量,把通信行为相似的人群聚为一组。数据挖掘方法论选用CRISP-DM(Cross-IndustryProcessforDataMining)过程模型。即交叉行业数据挖掘过程标准。它从数据挖掘技术应用的角度来划分挖掘任务,将数据挖掘技术和实际应用紧密结合。CRISP-DM过程模型的主要步骤有商业理解、数据理解、数据准备、建立模型、数据挖掘、评价和实施以及结果发布,如图3-9所示。该过程的各个环节按顺序进行,但需要不断地循环往复进行数据探索和模型的调优。这里为了简化说明问题,先不考虑循环往复的探索和调优过程,直接顺序考察各个环节。

数据挖掘模型和挖掘步骤

在各种硬件条件和软件条件都具备的情况下,就可以开始进行挖掘的工作了。

1.数据准备

数据准备过程如下:

(1)确定项目目标,制定挖掘计划。

(2)分析变量的获取。

(3)数据收集和获取。(4)数据集成。

依据CRISP-DM流程,第一要确定项目目标,之后制定挖掘计划。首先必须明确项目的商业目标,这个目标应该是适于用选取的聚类分析方法来达到的。所定义的客户细分的商业目标是"对某地方数十万普通客户,从客户行为的角度进行客户分类,以了解不同客户群的消费行为特征,为发展新业务、原有客户挽留、对其他通信公司用户争夺的针对性策略的制订提供依据,并实现企业稳定现有客户量、提高客户增长量的战略目标"。

客户的消费行为和需求通过调查问卷以及访谈的方式来实现。

客户的通信行为以及需求特征类别见表3-1。

表3-1客户行为特征信息表

客户的通信行为

客户的需求特征类别

短消息使用次数

移动梦网使用次数

GPRS数据流量

方便性及信息实时性的需求

IP长途使用次数

优惠时段通话次数

套餐定制和使用次数

拨打10086次数

对资费的敏感程度

本地、长途、漫游呼叫时长

本地、长途、漫游呼叫次数

工作/休息时段、优惠/非优惠时段)

呼叫类型(主叫、被叫、呼叫转移)

对通话的多层次需求

服务种类

对个性化服务的需求程度

基于客户需求和上述行为特征信息表,定义了几组细分变量,d_代表时常,t_代表频率,见表3-2。在这里只列出通话形式和通话比例表。

表3-2细分变量表(简表)

通话形式

市话

d_local

t_local

省内长途

d_toll_InProvince

t_toll_InProvince

跨省长途

d_toll_BetweenProvince

t_toll_BetweenProvince

国际长途

d_toll_htm

t_toll_htm

通话比例

网内通话

d_mob_Ttl

t_mob_Ttl

联通通话

d_uni_Ttl

t_uni_Ttl

小灵通通话

d_phs_Ttl

t_phs_Ttl

d_fix_Ttl

t_fix_Ttl

2.数据准备

数据准备包括所有从原始的未加工的数据构造最终分析数据集的活动,是数据挖掘过程中最耗时的环节,甚至要占据整个数据挖掘项目一半以上的工作量。数据准备工作的流程如图3-11所示。

3.建立模型

在生成最终的数据集后,就可以在此基础上建立模型来进行聚类分析了。建立模型阶段主要是选择和应用各种建模技术,同时对它们的参数进行校准以达到最优值。在明确建模技术和算法后需要确定模型参数和输入变量。模型参数包括类的个数和最大迭代步数等。

不同的技术方案产生的模型结果有很大不同,而且模型结果的可理解性也存在较大差异。另外,对结果的分析和描述也很关键,不恰当的描述会造成误导。需要指出的是,不同的商业问题和不同的数据分布属性会影响模型建立与调整的策略,而且在建模过程中还会使用多种近似算法来简化模型的优化过程。因此还需要业务专家参与调整策略的制定,以避免不适当的优化造成业务信息丢失。

建立模型是一个螺旋上升,不断优化的过程,在每一次聚类结束后,需要判断聚类结果在业务上是否有意义,其各群特征是否明显。如果结果不理想,则需要调整聚类模型,对模型进行优化,称之为聚类优化。聚类优化可通过调整聚类个数及调整聚类变量输入来实现,也可以通过多次运行,选择满意的结果。通常可以依据以下原则判断聚类结果是否理想:类间特征差异是否明显;群内特征是否相似;聚类结果是否易于管理及是否具有业务指导意义。

4.模型评估

通过上面的处理,就会得到一系列的分析结果和模式,它们是对目标问题多侧面的描述,这时需要对它们进行验证和评价,以得到合理的,完备的决策信息。对产生的模型结果需要进行对比验证、准确度验证、支持度验证等检验以确定模型的价值。在这个阶段需要引入更多层面和背景的用户进行测试和验证,通过对几种模型的综合比较,产生最后的优化模型。

模型评估阶段需要对数据挖掘过程进行一次全面的回顾,从而决定是否存在重要的因素或任务由于某些原因而被忽视,此阶段关键目的是决定是否还存在一些重要的商业问题仍未得到充分的考虑。验证模型是处理过程中的关键步骤,可以确定是否成功地进行了前面的步骤。模型的验证需要利用未参与建模的数据进行,这样才能得到比较准确的结果。可以采用的方法有直接使用原来建立模型的样本数据进行检验,或另找一批数据对其进行检验,也可以在实际运行中取出新的数据进行检验。检验的方法是对已知客户状态的数据利用模型进行挖掘,并将挖掘结果与实际情况进行比较。在此步骤中若发现模型不够优化,还需要回到前面的步骤进行调整。

THE END
1.数据挖掘概念(AnalysisServices有关如何将 SQL Server 工具应用于业务方案的示例,请参阅数据挖掘基础教程。 定义问题 与以下关系图的突出显示相同,数据挖掘过程的第一步就是明确定义业务问题,并考虑解答该问题的方法。 该步骤包括分析业务需求,定义问题的范围,定义计算模型所使用的度量,以及定义数据挖掘项目的特定目标。这些任务转换为下列问题: https://technet.microsoft.com/zh-cn/library/ms174949(en-us,sql.105).aspx
2.数据挖掘的分析方法可以划分为关联分析序列模式分析分类分析和数据挖掘是从大量数据中提取有用信息的方法,主要分为四种分析方式:关联分析、序列模式分析、分类分析和聚类分析。在本指南中,我们将详细介绍这四种方法的实现过程,并提供相应的代码示例。 数据挖掘流程 首先,我们需要明确数据挖掘的基本流程,如下表所示: 流程图 https://blog.51cto.com/u_16213297/12863680
3.数据挖掘中dm是什么意思帆软数字化转型知识库数据挖掘的过程通常包括数据预处理、数据变换、数据挖掘算法应用和结果评估。在数据挖掘的过程中,数据预处理是一个非常重要的环节,因为它决定了整个挖掘过程的质量和效率。数据预处理包括数据清洗、数据集成、数据变换和数据归约,每一个步骤都对最终的挖掘结果有着至关重要的影响。通过数据清洗,可以消除噪声数据和处理https://www.fanruan.com/blog/article/572777/
4.数据挖掘基于数据挖掘技术的CRM应用腾讯云开发者社区三、客户关系管理应用数据挖掘的步骤 (一)需求分析 只有确定需求,才有分析和预测的目标,然后才能提取数据、选择方法,因此,需求分析是数据挖掘的基础条件。数据挖掘的实施过程也是围绕着这个目标进行的。在确定用户的需求后,应该明确所要解决的问题属于哪种应用类型,是属于关联分析、分类、聚类及预测,还是其他应用。应对https://cloud.tencent.com/developer/article/1044985
5.数据挖掘技术在客户关系管理中如何应用四、客户关系管理应用数据挖掘的步骤 1.需求分析 只有确定需求,才有分析和预测的目标,然后才能提取数据、选择方法,因此,需求分析是数据挖掘的基础条件。数据挖掘的实施过程也是围绕着这个目标进行的。在确定用户的需求后,应该明确所要解决的问题属于哪种应用类型,是属于关联分析、分类、聚类及预测,还是其他应用。应对现有https://www.wenshubang.com/xingzhengguanlibiyelunwen/151599.html
6.什么是数据挖掘?(DM与DWOLAPCRM的区别)数据挖掘中的dw文章浏览阅读1.2k次。什么是数据挖掘 数据挖掘(Data Mining),又称为数据库中的知识发现(Knowledge Discovery in Database, KDD),就是从大量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程,简单的说,数据挖掘就是从大量数据中提取或“挖掘”知https://blog.csdn.net/christmasxu/article/details/52153710
7.什么是DM?()A.数据仓库B.数据挖掘C.数据分析D.数据处理什么是DM?( ) A. 数据仓库 B. 数据挖掘 C. 数据分析 D. 数据处理 点击查看答案 你可能感兴趣的试题 单项选择题铣床加工要手工进料,因此其生产效率和加工质量要比压刨低。( ) A、正确 B、错误 点击查看答案 不定项选择 面膜的防腐首要要求具有安全性,其次要求高效、广谱、扩散性和持久性。 A.正确http://www.ppkao.com/wangke/daan/387b0239197a4b11acf5b41d3b04cb53
8.数据挖掘的基本概念和工作流程金融IT那些事儿数字化转型中必须要要提升数据挖掘能力,才能获取有价值的信息,并返回到业务中去,实现数据业务化 。https://www.shangyexinzhi.com/article/4052696.html
9.简要概括数据挖掘的定义简单来说,数据挖掘就是通过一系列的操作,挖掘出隐藏在数据背后的规律和模式。 二、数据挖掘的工作方式 数据挖掘的过程其实就像一场侦探游戏,侦探就是我们自己,线索就是那些看似不起眼的数据。咱们平时在网上购物,或者刷社交媒体,都会留下很多数据痕迹。你可能会觉得这些数据根本没什么用,但事实上,它们全都在为某个https://wenku.baidu.com/view/379da718b3717fd5360cba1aa8114431b80d8e4c.html
10.数据挖掘论文医院加强数据挖掘技术应用方向的探索上,可以从客户拓展这个角度出发实现对于医疗信息管理。例如通过数据挖掘技术多方进行患者信息比对,同时制订完善的医疗服务影响策略方式,加强对于客户行为的分析;在数据挖掘的基础之上,增强其技术应用的实用性,在分析的基础之上比对自身的竞争优势,实现医院资源的合理规划与合理配置,例如药品https://www.ruiwen.com/lunwen/7945818.html
11.什么是数据挖掘?常用的数据挖掘方法和技术包括什么?数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。常用的数据挖掘方法和技术手段有:关联分析,决策树,粗糙集,人工神经网络,遗传算法,归纳学习。https://www.shuashuati.com/ti/e40deb31de9b4b37a2acfe9ace236bc2.html
12.数据挖掘与分析心得体会数据挖掘应当更正确的命名为:“从数据中挖掘知识”,不过后者显得过长了些。而“挖掘”一词确是生动形象的!人们把数据挖掘视为“数据中的知识发现(KDD)”的同义词,而另一些人只是把数据挖掘视为知识发现过程的一个基本步骤! 由此而产生数据挖掘的定义:从大量数据中挖掘有趣模式和知识的过程!数据源包括数据库、数https://www.360wenmi.com/f/file46470luq.html
13.课程如何高效清洗大数据 朱晓峰 第四章 突破想象:大数据挖掘分析 ● 4.1 我们身边的大数据挖掘实例 朱晓峰 ● 4.2 数据挖掘的“江湖地位” 朱晓峰 ● 4.3 数据挖掘的规范流程 朱晓峰 ● 4.4 数据挖掘的“四大金刚” 朱晓峰 第五章 讲述故事:大数据可视化 ● 5.1 数据可视化不是浮云 朱晓峰 ● 5.2https://higher.smartedu.cn/course/62354d379906eace048f64f2
14.工程项目管理dm指什么零代码企业数字化知识站数据分析是数据管理的核心环节,通过数据分析可以发现项目中的潜在问题和改进机会。数据分析通常包括数据清洗、数据建模、数据挖掘等多个步骤。数据清洗是指对收集到的数据进行预处理,去除数据中的噪声和错误;数据建模是指根据项目的需求,建立数据的数学模型;数据挖掘是指从数据中提取有价值的信息和知识。 https://www.jiandaoyun.com/blog/article/749743/
15.人工智能产品规划方法论:CRISPDM解读在1996年的时候,SPSS,戴姆勒-克莱斯勒和NCR公司发起共同成立了一个兴趣小组,目的是为了建立数据挖掘方法和过程的标准。并在1999年正式提炼出了CRISP-DM流程。 这个流程确定了一个数据挖掘项目的生命周期,包括以下六个阶段: 商业理解:了解进行数据挖掘的业务原因和数据挖掘目标。 https://www.zhuanzhi.ai/document/67b162eb7e0faa087269ca871a612b4b
16.dm是什么意思数据挖掘理想股票技术论坛DM在数据挖掘中的含义及相关技术介绍。 ,理想股票技术论坛https://www.55188.com/tag-9806214.html
17.数据挖掘数据挖掘题库带答案1最早提出大数据时代到来的是全球知名咨询公司麦肯锡答案:正确2决策将日益基于数据和分析而作出,而并非基于经验和直觉答案:错误解析:决策将日益基于数据和分析而作出,而并非基于经验和直觉32011年被许多国外媒体和专家称为大数https://m.renrendoc.com/paper/224662413.html
18.数据挖掘分析平台(DMPlus)挖掘数据价值、寻找数字“金矿“ 概述 数据挖掘分析平台(DMPlus)是什么? 如何从海量数据中找到有价值的数据?什么是有价值的数据? DMPlus提供一个开放的数据挖掘分析平台,极易操作的可视化编辑页面,降低数据挖掘门槛,通过拖拽式流程设计,快速实现各类数据挖掘应用。提供数据计算脚本管理,提供计算任务管理,提供数据计算任务http://www.sudytech.com/_s2/4799/list.psp
19.高效实施数据挖掘的方法和步骤yuanye1014使用该工具中,各操作步骤是否可以被清晰地映射到数据挖掘的商业需求上?该工具是否向商业用户清晰地表述了数据挖掘概念?该工具如何与项目管理或其它计划工具所整合?是否需要编写额外地应用程序来实现数据挖掘技术与商业理解之间的沟通? ? 第二阶段:数据理解 http://blog.chinaunix.net/uid-64814-id-2690182.html
20.IBMSPSSStatistics操作进阶在这个过程中,尽管数据挖掘的各种算法是数据挖掘过程的核心步骤,但是并不是全部,为了保证数据挖掘项目的成功实施,还有很多决定性因素,例如商业问题如何界定、数据如何选取、生成的模型如何嵌入到现有的业务流程中等问题都将直接影响数据挖掘是否能够取得商业上的成功。 第1章数据分析方法论简介 业务洞察力 数据挖掘软件 图https://m.360docs.net/doc/info-ba014db4ac51f01dc281e53a580216fc700a5385.html
21.什么是数据挖掘?数据挖掘标准流程CRISP-DM 数据挖掘的生命周期:业务理解、数据理解及收集、数据准备、数据建模、模型评估https://www.zhihu.com/question/19637218/answer/2276068639
22.干货CRISPDM数据挖掘实施方法论CRISP-DM数据挖掘实施方法论帮助企业把注意力集中在解决业务问题本身,而不是技术层面上。CRISP-DM流程模型包括了六个步骤,涵盖了数据挖掘的整个过程,它们是: 商业理解Business understanding 这一初始阶段集中在从商业角度理解项目的目标和要求,然后把理解转化为数据挖掘问题,并制定出一个旨在实现目标的初步计划。 https://blog.itpub.net/14146064/viewspace-1516839/