数据挖掘模型和挖掘步骤技术方案

随着中国电信的改革重组,中国通信业取得了跨越式的发展,成为国民经济中发展速度最快的行业之一,中国通信业总规模现已在世界排名第一。与此同时,中国通信市场竞争也日趋激烈。通信运营商的经营观念逐渐从"技术质量第一"向"服务客户第一"转化。以前的营销模式已经无法满足客户的多样化、层次化、个性化的需求。长期以来,通信单位大量详尽的业务数据也只是被简单地应用在各种业务系统中,没有被更有效地开发利用。如何利用这些数据进一步拓宽通信业务,促进通信业务发展,从而为通信业提供决策支持服务,已经成为各个通信单位的当务之急。

客户细分模型和挖掘算法选择

构建客户分类模型需要用到第2章所介绍的一些技术。其中聚类技术就是其中之一。在前面的章节中我们曾了解到聚类和分类有着很大的区别:分类时,我们事先选择一些属性作为分类标准,通信企业总是会将重要的、有影响力的属性作为分类的依据;而在实际应用当中,通信企业事先根本不知道哪些属性会起到作用。而找到那些起关键作用的属性是聚类技术的任务之一。在通信客户分析中,聚类分析能够帮助我们发现特征迥异的不同客户群和对客户分类起关键作用的指标变量,并辅助运营商对各客户类别的特征进行深刻观察。通信客户从营销属性方面分为三类:普通客户、价值客户和黄金客户,其中普通客户消费行为有较大的随机性,分布较广,规律难寻,比较适于聚类分析。

本数据挖掘实例采用通话行为、数据业务使用情况等作为客户分类变量,把通信行为相似的人群聚为一组。数据挖掘方法论选用CRISP-DM(Cross-IndustryProcessforDataMining)过程模型。即交叉行业数据挖掘过程标准。它从数据挖掘技术应用的角度来划分挖掘任务,将数据挖掘技术和实际应用紧密结合。CRISP-DM过程模型的主要步骤有商业理解、数据理解、数据准备、建立模型、数据挖掘、评价和实施以及结果发布,如图3-9所示。该过程的各个环节按顺序进行,但需要不断地循环往复进行数据探索和模型的调优。这里为了简化说明问题,先不考虑循环往复的探索和调优过程,直接顺序考察各个环节。

数据挖掘模型和挖掘步骤

在各种硬件条件和软件条件都具备的情况下,就可以开始进行挖掘的工作了。

1.数据准备

数据准备过程如下:

(1)确定项目目标,制定挖掘计划。

(2)分析变量的获取。

(3)数据收集和获取。(4)数据集成。

依据CRISP-DM流程,第一要确定项目目标,之后制定挖掘计划。首先必须明确项目的商业目标,这个目标应该是适于用选取的聚类分析方法来达到的。所定义的客户细分的商业目标是"对某地方数十万普通客户,从客户行为的角度进行客户分类,以了解不同客户群的消费行为特征,为发展新业务、原有客户挽留、对其他通信公司用户争夺的针对性策略的制订提供依据,并实现企业稳定现有客户量、提高客户增长量的战略目标"。

客户的消费行为和需求通过调查问卷以及访谈的方式来实现。

客户的通信行为以及需求特征类别见表3-1。

表3-1客户行为特征信息表

客户的通信行为

客户的需求特征类别

短消息使用次数

移动梦网使用次数

GPRS数据流量

方便性及信息实时性的需求

IP长途使用次数

优惠时段通话次数

套餐定制和使用次数

拨打10086次数

对资费的敏感程度

本地、长途、漫游呼叫时长

本地、长途、漫游呼叫次数

工作/休息时段、优惠/非优惠时段)

呼叫类型(主叫、被叫、呼叫转移)

对通话的多层次需求

服务种类

对个性化服务的需求程度

基于客户需求和上述行为特征信息表,定义了几组细分变量,d_代表时常,t_代表频率,见表3-2。在这里只列出通话形式和通话比例表。

表3-2细分变量表(简表)

通话形式

市话

d_local

t_local

省内长途

d_toll_InProvince

t_toll_InProvince

跨省长途

d_toll_BetweenProvince

t_toll_BetweenProvince

国际长途

d_toll_htm

t_toll_htm

通话比例

网内通话

d_mob_Ttl

t_mob_Ttl

联通通话

d_uni_Ttl

t_uni_Ttl

小灵通通话

d_phs_Ttl

t_phs_Ttl

d_fix_Ttl

t_fix_Ttl

2.数据准备

数据准备包括所有从原始的未加工的数据构造最终分析数据集的活动,是数据挖掘过程中最耗时的环节,甚至要占据整个数据挖掘项目一半以上的工作量。数据准备工作的流程如图3-11所示。

3.建立模型

在生成最终的数据集后,就可以在此基础上建立模型来进行聚类分析了。建立模型阶段主要是选择和应用各种建模技术,同时对它们的参数进行校准以达到最优值。在明确建模技术和算法后需要确定模型参数和输入变量。模型参数包括类的个数和最大迭代步数等。

不同的技术方案产生的模型结果有很大不同,而且模型结果的可理解性也存在较大差异。另外,对结果的分析和描述也很关键,不恰当的描述会造成误导。需要指出的是,不同的商业问题和不同的数据分布属性会影响模型建立与调整的策略,而且在建模过程中还会使用多种近似算法来简化模型的优化过程。因此还需要业务专家参与调整策略的制定,以避免不适当的优化造成业务信息丢失。

建立模型是一个螺旋上升,不断优化的过程,在每一次聚类结束后,需要判断聚类结果在业务上是否有意义,其各群特征是否明显。如果结果不理想,则需要调整聚类模型,对模型进行优化,称之为聚类优化。聚类优化可通过调整聚类个数及调整聚类变量输入来实现,也可以通过多次运行,选择满意的结果。通常可以依据以下原则判断聚类结果是否理想:类间特征差异是否明显;群内特征是否相似;聚类结果是否易于管理及是否具有业务指导意义。

4.模型评估

通过上面的处理,就会得到一系列的分析结果和模式,它们是对目标问题多侧面的描述,这时需要对它们进行验证和评价,以得到合理的,完备的决策信息。对产生的模型结果需要进行对比验证、准确度验证、支持度验证等检验以确定模型的价值。在这个阶段需要引入更多层面和背景的用户进行测试和验证,通过对几种模型的综合比较,产生最后的优化模型。

模型评估阶段需要对数据挖掘过程进行一次全面的回顾,从而决定是否存在重要的因素或任务由于某些原因而被忽视,此阶段关键目的是决定是否还存在一些重要的商业问题仍未得到充分的考虑。验证模型是处理过程中的关键步骤,可以确定是否成功地进行了前面的步骤。模型的验证需要利用未参与建模的数据进行,这样才能得到比较准确的结果。可以采用的方法有直接使用原来建立模型的样本数据进行检验,或另找一批数据对其进行检验,也可以在实际运行中取出新的数据进行检验。检验的方法是对已知客户状态的数据利用模型进行挖掘,并将挖掘结果与实际情况进行比较。在此步骤中若发现模型不够优化,还需要回到前面的步骤进行调整。

THE END
1.数据挖掘概念(AnalysisServices与以下关系图的突出显示相同,数据挖掘过程的第一步就是明确定义业务问题,并考虑解答该问题的方法。 该步骤包括分析业务需求,定义问题的范围,定义计算模型所使用的度量,以及定义数据挖掘项目的特定目标。这些任务转换为下列问题: 您在查找什么?您要尝试找到什么类型的关系? https://technet.microsoft.com/zh-cn/library/ms174949(en-us,sql.105).aspx
2.数据挖掘步骤:从数据准备到结果解读!3、数据建模 在数据探索之后,我们需要建立数据模型。数据模型是对数据的特征和规律进行数学建模的过程,它可以帮助我们更好地理解数据。常用的数据挖掘算法包括聚类分析、决策树、神经网络等。在选择算法时,我们需要根据具体的业务场景和问题选择合适的算法。4、结果评估 建立好模型之后,我们需要对结果进行评估。评估的https://baijiahao.baidu.com/s?id=1783952876201025555&wfr=spider&for=pc
3.数据挖掘的过程包括:()。数据挖掘的过程包括:()。 A.问题定义 B.数据准备和预处理 C.数据挖掘 D.结果解释和评估 E.以上全部 点击查看答案进入题库练习 查答案就用赞题库小程序 还有拍照搜题 语音搜题 快来试试吧 无需下载 立即使用 你可能喜欢 多项选择题 服务价值包括()。 A.产品介绍 B.送货 C.维修 D.调试 E.技术 点击https://m.ppkao.com/mip/tiku/shiti/9021272.html
4.数据挖掘包括()等处理过程数据挖掘包括()等处理过程A.数据准备B.数据挖掘C.模式模型的评估与解释D.信息巩固与应用的答案是什么.用刷刷题APP,拍照搜索答疑.刷刷题(shuashuati.com)是专业的大学职业搜题找答案,刷题练习的工具.一键将文档转化为在线题库手机刷题,以提高学习效率,是学习的生产力工具https://www.shuashuati.com/ti/20ad9e3f8beb42a59c2102cbe09f96f0.html
5.数据挖掘的步骤包括什么数据挖掘是一个通过特定算法对大量数据进行处理和分析,以发现数据中的模式、趋势或关联性的过程。下面详细介绍数据挖掘的步骤包括什么? 1、数据收集 首先,需要收集与待挖掘主题相关的数据。可能涉及从各种来源(如数据库、文件、网络等)获取数据,并将其清洗、整合到一个统一的格式中。 https://www.pxwy.cn/news-id-81213.html
6.数据挖掘过程中可能遇到的问题有哪些?数据挖掘过程中可能遇到的问题包括数据质量问题、特征选择问题、过拟合问题、模型选择问题、大数据处理问题等。 数据质量问题:数据可能存在缺失值、异常值、重复值等,需要进行数据清洗和预处理,以确保数据质量。 特征选择问题:在数据挖掘过程中,需要选择对目标变量有显著影响的特征,避免过多的无关特征对模型性能造成负面https://www.mbalib.com/ask/question-df39a895afe6da9867c321c7fda416b2.html
7.数据挖掘的流程包含哪些步骤?数据挖掘是从大量数据中挖掘出有用的信息和模式的过程。它涉及多个步骤,从数据收集到模型评估。以下是数据挖掘的常见流程步骤: 理解业务目标:在进行数据挖掘之前,需要明确业务目标和问题。确定要解决的问题以及所需的结果有助于指导整个流程。 数据收集:在这一阶段,需要收集与业务目标相关的数据。数据可以来自各种来源,https://www.cda.cn/view/202981.html
8.数据挖掘的六个步骤有哪些帆软数字化转型知识库数据收集与准备是确保数据挖掘项目顺利进行的关键步骤。在这个阶段,数据科学家需要从各种内部和外部来源收集数据。内部数据可能包括企业的销售记录、客户信息、财务数据等;外部数据则可能来自市场调研、社交媒体或第三方数据提供商。数据收集后,接下来的任务是数据整合,即将不同来源的数据进行统一和合并。在数据整合过程中,https://www.fanruan.com/blog/article/594251/
9.数据分析的过程主要包含这7个方面数据分析的过程是循序渐进的过程,主要包括如下7个方面。 一个完整的数据分析的过程,应该包括数据采集、数据存储、数据提取、数据挖掘、数据分析、数据展现、数据应用七个方面。今天我们就来从这几个角度着手,简要介绍一下数据分析的过程。 1. 数据采集 数据采集的意义在于真正了解数据的原始面貌,包括数据产生的时间、条https://www.jiushuyun.com/hywz/2061.html
10.数据挖掘在生产物流过程中的应用论文目前,数据挖掘的主要研究方向包括更高效率的挖掘算法、专用挖掘系统以及挖掘结果可视化的实现等方面。这些技术能力的提高,不仅能够在数据挖掘过程中获得更多的有效信息,还能提高数据挖掘的适应能力,扩大其运用范围,实现数据挖掘过程的逐步深化。 四、结束语 数据挖掘在生产物流过程中发挥了重要的作用。随着经济的不断发展,https://biyelunwen.yjbys.com/fanwen/jiaotongwuliu/714954.html
11.终于有人把数据挖掘讲明白了数据挖掘的具体过程描述如下: 1)数据:进行数据挖掘首先要有数据,可以根据任务的目的选择数据集,并筛选自己需要的数据,或者根据实际情况构造自己需要的数据。 2)预处理:确定数据集后,就要对数据进行预处理,使数据能够为我们所用。数据预处理可以提高数据质量,包括准确性、完整性和一致性。进行数据预处理的方法有数据清https://www.51cto.com/article/698009.html
12.数据挖掘论文范文8篇(全文)(2) 挖掘数据算法的选择问题; (3) 软件的开发者该如何选择数据。 1 在软件工程中数据挖掘的主要任务 在数据挖掘技术中, 软件工程数据挖掘是其中之一, 其挖掘的过程与传统数据的挖掘无异。通常包括三个阶段:第一阶段, 数据的预处理;第二阶段, 数据的挖掘;第三阶段, 对结果的评估。第一阶段的主要任务有对数据https://www.99xueshu.com/w/filedo12vrm4.html
13.数据挖掘与分析理论数据挖掘的过程主要包括:定义商业问题、建立数据挖掘库、确定分析的内容、准备数据、建立模型、评价模型和实施。 5.1 定义各种商业问题 对业务问题和数据挖掘的目标进行明确的定义,例如从整体上分析市场的结构和发展的趋势,或者从微观的角度分析客源的结构。 http://www.360doc.com/content/22/1227/12/7288840_1061572250.shtml
14.数据仓库与数据挖掘技术—数据挖掘分类及过程模型信息摘要:一种自动编制文摘的技术,即利用计算机将一篇文章浓缩成一篇短文的过程。 信息抽取:根据一个事先定义好的、描述所需信息规格的模板,从非结构化的文本抽取相关信息的过程。 元数据挖掘:对元数据进行的挖掘,例如,对文本元数据的挖掘。文本元数据可以分为两类,一类是描述性元数据,包括文本的名称、日期、大小、https://www.jianshu.com/p/da25173289b9
15.一文搞懂!商业数据分析全流程为了使数据挖掘过程更加规范化、系统化,出现了一些数据挖掘流程模型,CRISP-DM即是其中的一种优秀代表。CRISP-DM全称为CRoss Industry Standard Process for Data Mining(跨行业数据挖掘标准流程),如图1.2所示,这个流程模型将整个数据挖掘过程划分为六个主要阶段:业务理解、数据理解、数据准备、模型建立、模型评估和结果部https://www.niaogebiji.com/article-606353-1.html
16.数据分析报告范文(通用13篇)⑤假设数据模型。 ⑥ 实际数据挖掘工作(data mining)。 ⑦ 测试和验证挖掘结果(testing and verfication)。 ⑧ 解释和应用(interpretation and use)。 由上述步骤可看出,数据挖掘牵涉了大量的准备工作与规划工作,事实上许多专家都认为整套数据挖掘的过程中,有80%的时间和精力是花费在数据预处理阶段,其中包括数据的净化https://www.unjs.com/fanwenku/260833.html
17.数据分析报告(精选15篇)⑤假设数据模型。 ⑥ 实际数据挖掘工作(data mining)。 ⑦ 测试和验证挖掘结果(testing and verfication)。 ⑧ 解释和应用(interpretation and use)。 由上述步骤可看出,数据挖掘牵涉了大量的准备工作与规划工作,事实上许多专家都认为整套数据挖掘的过程中,有80%的时间和精力是花费在数据预处理阶段,其中包括数据的净化https://www.ruiwen.com/fenxibaogao/8204699.html
18.什么是数据挖掘和KDD·MachineLearningMastery博客文章翻译在这篇文章中,您了解到数据挖掘是从数据中发现模式。您了解到,这是一个由许多步骤组成的过程,包括数据准备,算法运行和结果表示。 您了解到机器学习是数据挖掘中使用的工具,数据挖掘实际上是数据库或KDD中知识发现过程中的一个步骤,并且它已经成为术语的同义词,因为它更容易说。 https://www.kancloud.cn/apachecn/ml-mastery-zh/1951996
19.保姆式GEO数据挖掘演示写在前面 模拟1000行代码不如实操训练,重现文章中的数据才是学习GEO数据挖掘的最好途径,基于以上精神,我们就来重现一下高分文章的数据挖掘过程。 至于为什么选择这篇文章,是因为我还是个GEO数据挖掘的小白https://m.wang1314.com/doc/webapp/topic/20967139.html