数据挖掘模型和挖掘步骤技术方案

随着中国电信的改革重组,中国通信业取得了跨越式的发展,成为国民经济中发展速度最快的行业之一,中国通信业总规模现已在世界排名第一。与此同时,中国通信市场竞争也日趋激烈。通信运营商的经营观念逐渐从"技术质量第一"向"服务客户第一"转化。以前的营销模式已经无法满足客户的多样化、层次化、个性化的需求。长期以来,通信单位大量详尽的业务数据也只是被简单地应用在各种业务系统中,没有被更有效地开发利用。如何利用这些数据进一步拓宽通信业务,促进通信业务发展,从而为通信业提供决策支持服务,已经成为各个通信单位的当务之急。

客户细分模型和挖掘算法选择

构建客户分类模型需要用到第2章所介绍的一些技术。其中聚类技术就是其中之一。在前面的章节中我们曾了解到聚类和分类有着很大的区别:分类时,我们事先选择一些属性作为分类标准,通信企业总是会将重要的、有影响力的属性作为分类的依据;而在实际应用当中,通信企业事先根本不知道哪些属性会起到作用。而找到那些起关键作用的属性是聚类技术的任务之一。在通信客户分析中,聚类分析能够帮助我们发现特征迥异的不同客户群和对客户分类起关键作用的指标变量,并辅助运营商对各客户类别的特征进行深刻观察。通信客户从营销属性方面分为三类:普通客户、价值客户和黄金客户,其中普通客户消费行为有较大的随机性,分布较广,规律难寻,比较适于聚类分析。

本数据挖掘实例采用通话行为、数据业务使用情况等作为客户分类变量,把通信行为相似的人群聚为一组。数据挖掘方法论选用CRISP-DM(Cross-IndustryProcessforDataMining)过程模型。即交叉行业数据挖掘过程标准。它从数据挖掘技术应用的角度来划分挖掘任务,将数据挖掘技术和实际应用紧密结合。CRISP-DM过程模型的主要步骤有商业理解、数据理解、数据准备、建立模型、数据挖掘、评价和实施以及结果发布,如图3-9所示。该过程的各个环节按顺序进行,但需要不断地循环往复进行数据探索和模型的调优。这里为了简化说明问题,先不考虑循环往复的探索和调优过程,直接顺序考察各个环节。

数据挖掘模型和挖掘步骤

在各种硬件条件和软件条件都具备的情况下,就可以开始进行挖掘的工作了。

1.数据准备

数据准备过程如下:

(1)确定项目目标,制定挖掘计划。

(2)分析变量的获取。

(3)数据收集和获取。(4)数据集成。

依据CRISP-DM流程,第一要确定项目目标,之后制定挖掘计划。首先必须明确项目的商业目标,这个目标应该是适于用选取的聚类分析方法来达到的。所定义的客户细分的商业目标是"对某地方数十万普通客户,从客户行为的角度进行客户分类,以了解不同客户群的消费行为特征,为发展新业务、原有客户挽留、对其他通信公司用户争夺的针对性策略的制订提供依据,并实现企业稳定现有客户量、提高客户增长量的战略目标"。

客户的消费行为和需求通过调查问卷以及访谈的方式来实现。

客户的通信行为以及需求特征类别见表3-1。

表3-1客户行为特征信息表

客户的通信行为

客户的需求特征类别

短消息使用次数

移动梦网使用次数

GPRS数据流量

方便性及信息实时性的需求

IP长途使用次数

优惠时段通话次数

套餐定制和使用次数

拨打10086次数

对资费的敏感程度

本地、长途、漫游呼叫时长

本地、长途、漫游呼叫次数

工作/休息时段、优惠/非优惠时段)

呼叫类型(主叫、被叫、呼叫转移)

对通话的多层次需求

服务种类

对个性化服务的需求程度

基于客户需求和上述行为特征信息表,定义了几组细分变量,d_代表时常,t_代表频率,见表3-2。在这里只列出通话形式和通话比例表。

表3-2细分变量表(简表)

通话形式

市话

d_local

t_local

省内长途

d_toll_InProvince

t_toll_InProvince

跨省长途

d_toll_BetweenProvince

t_toll_BetweenProvince

国际长途

d_toll_htm

t_toll_htm

通话比例

网内通话

d_mob_Ttl

t_mob_Ttl

联通通话

d_uni_Ttl

t_uni_Ttl

小灵通通话

d_phs_Ttl

t_phs_Ttl

d_fix_Ttl

t_fix_Ttl

2.数据准备

数据准备包括所有从原始的未加工的数据构造最终分析数据集的活动,是数据挖掘过程中最耗时的环节,甚至要占据整个数据挖掘项目一半以上的工作量。数据准备工作的流程如图3-11所示。

3.建立模型

在生成最终的数据集后,就可以在此基础上建立模型来进行聚类分析了。建立模型阶段主要是选择和应用各种建模技术,同时对它们的参数进行校准以达到最优值。在明确建模技术和算法后需要确定模型参数和输入变量。模型参数包括类的个数和最大迭代步数等。

不同的技术方案产生的模型结果有很大不同,而且模型结果的可理解性也存在较大差异。另外,对结果的分析和描述也很关键,不恰当的描述会造成误导。需要指出的是,不同的商业问题和不同的数据分布属性会影响模型建立与调整的策略,而且在建模过程中还会使用多种近似算法来简化模型的优化过程。因此还需要业务专家参与调整策略的制定,以避免不适当的优化造成业务信息丢失。

建立模型是一个螺旋上升,不断优化的过程,在每一次聚类结束后,需要判断聚类结果在业务上是否有意义,其各群特征是否明显。如果结果不理想,则需要调整聚类模型,对模型进行优化,称之为聚类优化。聚类优化可通过调整聚类个数及调整聚类变量输入来实现,也可以通过多次运行,选择满意的结果。通常可以依据以下原则判断聚类结果是否理想:类间特征差异是否明显;群内特征是否相似;聚类结果是否易于管理及是否具有业务指导意义。

4.模型评估

通过上面的处理,就会得到一系列的分析结果和模式,它们是对目标问题多侧面的描述,这时需要对它们进行验证和评价,以得到合理的,完备的决策信息。对产生的模型结果需要进行对比验证、准确度验证、支持度验证等检验以确定模型的价值。在这个阶段需要引入更多层面和背景的用户进行测试和验证,通过对几种模型的综合比较,产生最后的优化模型。

模型评估阶段需要对数据挖掘过程进行一次全面的回顾,从而决定是否存在重要的因素或任务由于某些原因而被忽视,此阶段关键目的是决定是否还存在一些重要的商业问题仍未得到充分的考虑。验证模型是处理过程中的关键步骤,可以确定是否成功地进行了前面的步骤。模型的验证需要利用未参与建模的数据进行,这样才能得到比较准确的结果。可以采用的方法有直接使用原来建立模型的样本数据进行检验,或另找一批数据对其进行检验,也可以在实际运行中取出新的数据进行检验。检验的方法是对已知客户状态的数据利用模型进行挖掘,并将挖掘结果与实际情况进行比较。在此步骤中若发现模型不够优化,还需要回到前面的步骤进行调整。

THE END
1.数据挖掘概念(AnalysisServices尽管关系图中所示的过程是一个循环过程,但是每个步骤并不需要直接执行到下一个步骤。创建数据挖掘模型是一个动态、交互的过程。浏览完数据之后,您可能会发现数据不足,无法创建适当的挖掘模型,因此必须查找更多的数据。或者,您可以生成数个模型,但随后发现这些模型无法充分地回答定义的问题,因此必须重新定义问题。您可能https://technet.microsoft.com/zh-cn/library/ms174949(en-us,sql.105).aspx
2.数据挖掘的过程和方法最后就是评估挖掘结果了。你得看看你挖出来的东西有没有意义。这个时候你就可以对比之前设定的目标了。我经常发现我以为挖掘成功了,但一对比发现跟目标偏离了,就又得再调整前面的步骤重新来。不过失败了也没关系,每次失败都能让我离成功更近一点。数据挖掘就是这样不断尝试,不断调整的过程,急不得。?https://wenku.baidu.com/view/7f1168947075a417866fb84ae45c3b3567ecddb0.html
3.数据挖掘的基本步骤和流程解析请阐述数据挖掘的基本过程和步骤在实际操作过程中,需根据业务需求和数据特点灵活调整,以达到最佳的挖掘效果。 通过对数据挖掘基本步骤和流程的深入理解,有助于我们更好地挖掘数据价值。 下面用一个具体的例子更详细的解释数据挖掘流程(具体代码用python语言实现)。 在这个例子中,我们将使用一个假设的电商数据集来进行用户购买行为的预测。 https://blog.csdn.net/m0_67484548/article/details/142665300
4.数据挖掘的六大过程这六个过程构成了一个系统而复杂的工作流程,旨在从大量数据中提取有用的模式和知识,支持决策和预测。 以下是每个过程的详细解释: 一、数据清洗 定义:数据清洗是对原始数据进行预处理的过程,旨在解决数据缺失、不一致、噪声等问题。 它是数据挖掘中非常重要的一个步骤,因为数据质量直接影响挖掘结果的准确性和可信度。https://www.ai-indeed.com/encyclopedia/10656.html
5.数据挖掘的六个步骤有哪些帆软数字化转型知识库数据挖掘的六个步骤分别是:问题定义、数据收集与准备、数据清洗、数据转换与特征选择、模型建立与评估、结果解释与部署。其中问题定义是数据挖掘过程的首要步骤,直接影响整个项目的成功与否。问题定义涉及明确业务目标、研究目标和所需的数据类型。只有在问题定义清晰的情况下,后续的每一步骤才能有的放矢,确保数据挖掘的结https://www.fanruan.com/blog/article/594251/
6.数据挖掘的步骤包括什么数据挖掘的步骤包括什么 数据挖掘是一个通过特定算法对大量数据进行处理和分析,以发现数据中的模式、趋势或关联性的过程。下面详细介绍数据挖掘的步骤包括什么? 1、数据收集 首先,需要收集与待挖掘主题相关的数据。可能涉及从各种来源(如数据库、文件、网络等)获取数据,并将其清洗、整合到一个统一的格式中。https://www.pxwy.cn/news-id-81213.html
7.数据挖掘的步骤包括以下步骤:()D. n加油D.花药离体培养过程中,基因重组、基因突变和染色体变异n加油均有可能发生 查看完整题目与答案 母线及隔离开关长期许诺的工作温度通常不该超过( )。 A. 50℃ B. 60℃ C. 70℃ D. 80℃。 查看完整题目与答案 平安xx星的投保年龄是( ) A. 0-17周岁 B. 0-55周岁 C. 0-15周岁https://www.shuashuati.com/ti/7c02c30b35d44a878095e40d6ded48a0.html?fm=bd57bb8d50e5790641c9fb65691073399c
8.数据挖掘的流程包含哪些步骤?数据挖掘是从大量数据中挖掘出有用的信息和模式的过程。它涉及多个步骤,从数据收集到模型评估。以下是数据挖掘的常见流程步骤: 理解业务目标:在进行数据挖掘之前,需要明确业务目标和问题。确定要解决的问题以及所需的结果有助于指导整个流程。 数据收集:在这一阶段,需要收集与业务目标相关的数据。数据可以来自各种来源,https://www.cda.cn/view/202981.html
9.高效实施数据挖掘的方法和步骤yuanye1014产生的结果是否易为商业用户所理解?如果不能,需要采取什么步骤以使结果便于读懂?该工具是否要求商业专家参与整个数据挖掘过程? ? 第六阶段:结果发布 数据挖掘过程可能很简单,如只是对商业问题给出一个建议,也可能很复杂,如应用一个应用程序向信息客户提供新知识。无论简单还是复杂,在结果发布阶段,都要用到该过程。http://blog.chinaunix.net/uid-64814-id-2690182.html
10.详解数据挖掘的技术工具与用例作为数据挖掘过程中的一个重要环节,我们必须对原始数据进行清理和格式化,以用于各种后续的分析。具体而言,数据的清理和准备工作包含了:数据建模,转换,迁移,集成和聚合等各种元素。这是理解数据基本特征和属性,进而确定其最佳用途的必要步骤。 3.分类 基于分类的数据挖掘技术,主要涉及到分析各种类型数据之间的关联属性。一https://www.51cto.com/article/663276.html
11.数据分析与挖掘11篇(全文)Web Mining(Web挖掘)是由Oren Etzioni在1996年首先提出的,一般地对Web数据挖掘做如下定义:从大量Web文档结构和使用的集合C中发现隐含的模式p。如果将C看作输入,p看作输出,那么挖掘的过程就是从输入到输出的一个映射:ξ:C→p。 3. Web数据挖掘的基本步骤 https://www.99xueshu.com/w/ikeyp687ycyz.html
12.数据挖掘的七个步骤理想股票技术论坛数据挖掘的七个步骤包括数据预处理、数据清洗、数据转换、数据建模、模型评估与优化以及数据可视化展示。这些步骤是数据挖掘过程中必不可少的环节,通过对数据的深入挖掘和分析,可以提取出有价值的信息和规律,为决策提供支持。 ,理想股票技术论坛https://www.55188.com/tag-08849372.html
13.数据挖掘的过程张杰整理数据挖掘是指一个完整的过程,该过程从大型数据库中挖掘先前未知的、有效的,可实用的信息,并使用这些信息做出决策或丰富知识。下图描述了数据挖掘的主要步骤和过程。 数据挖掘过程中各步骤的大体内容如下: 第一步:确定挖掘目的。认清数据挖掘的目的是数据挖掘的重要一步。挖掘的最后结果是不可预测的,但要探索的问题应https://maimai.cn/article/detail?fid=1405334297&efid=7lwV824VMzvaUfEhWMvd3A
14.数据挖掘技术在客户关系管理中如何应用四、客户关系管理应用数据挖掘的步骤 1.需求分析 只有确定需求,才有分析和预测的目标,然后才能提取数据、选择方法,因此,需求分析是数据挖掘的基础条件。数据挖掘的实施过程也是围绕着这个目标进行的。在确定用户的需求后,应该明确所要解决的问题属于哪种应用类型,是属于关联分析、分类、聚类及预测,还是其他应用。应对现有https://www.wenshubang.com/xingzhengguanlibiyelunwen/151599.html
15.7种常用的数据挖掘技术分享开源地理空间基金会中文分会开放什么是数据挖掘? 数据挖掘是从海量数据中提取有用信息和模式的过程。它包括数据的收集、提取、分析和统计,也被称为知识发现的过程,即从数据或数据模式分析中进行知识挖掘。这是一个寻找有用信息以找出有用数据的逻辑过程。 数据挖掘的3个步骤 探索:数据将被清除并转换为另一种形式,信息的性质也是确定的。 https://www.osgeo.cn/post/14c56
16.深度详解:对象检测和图像分割的数据探索过程数据挖掘对于图像分割和目标检测的需要 数据探索是很多机器学习过程的关键。也就是说,当涉及到目标检测和图像分割数据集时,没有直接的方法进行系统地数据探索。 在处理常规图像数据集和分割图像数据集时,有很多东西是可以区分的: 标签被强绑定在图像上。您必须非常小心对图像所做的任何操作,因为它可能破坏图像-标签-https://www.flyai.com/article/703
17.网络资源:数据挖掘实战1(电力窃漏电用户识别)本次学习我们将使用“什么是数据挖掘”中的挖掘过程:根据实际问题定义挖掘目标、取什么样的原始数据、对原始数据的探索分析、如何对数据进行处理、建立合适的模型完成目标、评估模型完成的好不好。 问题背景:实际生活中,有很多人可能会偷别人的电用,或者计量电量的设备坏了,造成无法根据实际用电情况计价,可能导致用户多https://nonlinear.wtu.edu.cn/info/1117/1665.htm
18.网络营销全部33.在搜索引擎的工作流程中,“把蜘蛛抓取的网页文件分解、分析,并存入数据库”所属的步骤是()。 A.抓取B.索引C.排序D.搜索词处理【注释】:第七章第一节 第194页 搜索引擎索引程序把蜘蛛抓取的网页文件分解、分析,并以巨大表格的形式存入数据库,这个过程就是索引。 34.“在邮件送达用户邮箱后,用户打开的邮件https://www.wjx.cn/xz/261160017.aspx
19.大数据分析的基本步骤相信大家对数据分析已经不陌生了,那数据分析的基本步骤是什么,大家都知道吗?一般来讲,典型的数据分析包含六个步骤,分别是明确思路、收集数据、处理数据、分析数据、展现数据以及撰写报告,下面中琛魔方具体讲一讲数据分析的六大步骤。 相信大家对数据分析已经不陌生了,那数据分析的基本步骤是什么,大家都知道吗?一般来讲https://www.qianjia.com/zhike/html/2020-06/3_24986.html
20.应用机器学习过程·MachineLearningMastery博客文章翻译步骤1:数据选择:考虑可用的数据,缺少的数据以及可以删除的数据。 步骤2:数据预处理:通过格式化,清理和采样来组织您选择的数据。 步骤3:数据转换:通过使用缩放,属性分解和属性聚合的工程特征,转换为机器学习做好准备的预处理数据。 您可以在帖子中了解有关准备数据的此过程的更多信息: https://www.kancloud.cn/apachecn/ml-mastery-zh/1951987