数据挖掘模型和挖掘步骤技术方案

随着中国电信的改革重组,中国通信业取得了跨越式的发展,成为国民经济中发展速度最快的行业之一,中国通信业总规模现已在世界排名第一。与此同时,中国通信市场竞争也日趋激烈。通信运营商的经营观念逐渐从"技术质量第一"向"服务客户第一"转化。以前的营销模式已经无法满足客户的多样化、层次化、个性化的需求。长期以来,通信单位大量详尽的业务数据也只是被简单地应用在各种业务系统中,没有被更有效地开发利用。如何利用这些数据进一步拓宽通信业务,促进通信业务发展,从而为通信业提供决策支持服务,已经成为各个通信单位的当务之急。

客户细分模型和挖掘算法选择

构建客户分类模型需要用到第2章所介绍的一些技术。其中聚类技术就是其中之一。在前面的章节中我们曾了解到聚类和分类有着很大的区别:分类时,我们事先选择一些属性作为分类标准,通信企业总是会将重要的、有影响力的属性作为分类的依据;而在实际应用当中,通信企业事先根本不知道哪些属性会起到作用。而找到那些起关键作用的属性是聚类技术的任务之一。在通信客户分析中,聚类分析能够帮助我们发现特征迥异的不同客户群和对客户分类起关键作用的指标变量,并辅助运营商对各客户类别的特征进行深刻观察。通信客户从营销属性方面分为三类:普通客户、价值客户和黄金客户,其中普通客户消费行为有较大的随机性,分布较广,规律难寻,比较适于聚类分析。

本数据挖掘实例采用通话行为、数据业务使用情况等作为客户分类变量,把通信行为相似的人群聚为一组。数据挖掘方法论选用CRISP-DM(Cross-IndustryProcessforDataMining)过程模型。即交叉行业数据挖掘过程标准。它从数据挖掘技术应用的角度来划分挖掘任务,将数据挖掘技术和实际应用紧密结合。CRISP-DM过程模型的主要步骤有商业理解、数据理解、数据准备、建立模型、数据挖掘、评价和实施以及结果发布,如图3-9所示。该过程的各个环节按顺序进行,但需要不断地循环往复进行数据探索和模型的调优。这里为了简化说明问题,先不考虑循环往复的探索和调优过程,直接顺序考察各个环节。

数据挖掘模型和挖掘步骤

在各种硬件条件和软件条件都具备的情况下,就可以开始进行挖掘的工作了。

1.数据准备

数据准备过程如下:

(1)确定项目目标,制定挖掘计划。

(2)分析变量的获取。

(3)数据收集和获取。(4)数据集成。

依据CRISP-DM流程,第一要确定项目目标,之后制定挖掘计划。首先必须明确项目的商业目标,这个目标应该是适于用选取的聚类分析方法来达到的。所定义的客户细分的商业目标是"对某地方数十万普通客户,从客户行为的角度进行客户分类,以了解不同客户群的消费行为特征,为发展新业务、原有客户挽留、对其他通信公司用户争夺的针对性策略的制订提供依据,并实现企业稳定现有客户量、提高客户增长量的战略目标"。

客户的消费行为和需求通过调查问卷以及访谈的方式来实现。

客户的通信行为以及需求特征类别见表3-1。

表3-1客户行为特征信息表

客户的通信行为

客户的需求特征类别

短消息使用次数

移动梦网使用次数

GPRS数据流量

方便性及信息实时性的需求

IP长途使用次数

优惠时段通话次数

套餐定制和使用次数

拨打10086次数

对资费的敏感程度

本地、长途、漫游呼叫时长

本地、长途、漫游呼叫次数

工作/休息时段、优惠/非优惠时段)

呼叫类型(主叫、被叫、呼叫转移)

对通话的多层次需求

服务种类

对个性化服务的需求程度

基于客户需求和上述行为特征信息表,定义了几组细分变量,d_代表时常,t_代表频率,见表3-2。在这里只列出通话形式和通话比例表。

表3-2细分变量表(简表)

通话形式

市话

d_local

t_local

省内长途

d_toll_InProvince

t_toll_InProvince

跨省长途

d_toll_BetweenProvince

t_toll_BetweenProvince

国际长途

d_toll_htm

t_toll_htm

通话比例

网内通话

d_mob_Ttl

t_mob_Ttl

联通通话

d_uni_Ttl

t_uni_Ttl

小灵通通话

d_phs_Ttl

t_phs_Ttl

d_fix_Ttl

t_fix_Ttl

2.数据准备

数据准备包括所有从原始的未加工的数据构造最终分析数据集的活动,是数据挖掘过程中最耗时的环节,甚至要占据整个数据挖掘项目一半以上的工作量。数据准备工作的流程如图3-11所示。

3.建立模型

在生成最终的数据集后,就可以在此基础上建立模型来进行聚类分析了。建立模型阶段主要是选择和应用各种建模技术,同时对它们的参数进行校准以达到最优值。在明确建模技术和算法后需要确定模型参数和输入变量。模型参数包括类的个数和最大迭代步数等。

不同的技术方案产生的模型结果有很大不同,而且模型结果的可理解性也存在较大差异。另外,对结果的分析和描述也很关键,不恰当的描述会造成误导。需要指出的是,不同的商业问题和不同的数据分布属性会影响模型建立与调整的策略,而且在建模过程中还会使用多种近似算法来简化模型的优化过程。因此还需要业务专家参与调整策略的制定,以避免不适当的优化造成业务信息丢失。

建立模型是一个螺旋上升,不断优化的过程,在每一次聚类结束后,需要判断聚类结果在业务上是否有意义,其各群特征是否明显。如果结果不理想,则需要调整聚类模型,对模型进行优化,称之为聚类优化。聚类优化可通过调整聚类个数及调整聚类变量输入来实现,也可以通过多次运行,选择满意的结果。通常可以依据以下原则判断聚类结果是否理想:类间特征差异是否明显;群内特征是否相似;聚类结果是否易于管理及是否具有业务指导意义。

4.模型评估

通过上面的处理,就会得到一系列的分析结果和模式,它们是对目标问题多侧面的描述,这时需要对它们进行验证和评价,以得到合理的,完备的决策信息。对产生的模型结果需要进行对比验证、准确度验证、支持度验证等检验以确定模型的价值。在这个阶段需要引入更多层面和背景的用户进行测试和验证,通过对几种模型的综合比较,产生最后的优化模型。

模型评估阶段需要对数据挖掘过程进行一次全面的回顾,从而决定是否存在重要的因素或任务由于某些原因而被忽视,此阶段关键目的是决定是否还存在一些重要的商业问题仍未得到充分的考虑。验证模型是处理过程中的关键步骤,可以确定是否成功地进行了前面的步骤。模型的验证需要利用未参与建模的数据进行,这样才能得到比较准确的结果。可以采用的方法有直接使用原来建立模型的样本数据进行检验,或另找一批数据对其进行检验,也可以在实际运行中取出新的数据进行检验。检验的方法是对已知客户状态的数据利用模型进行挖掘,并将挖掘结果与实际情况进行比较。在此步骤中若发现模型不够优化,还需要回到前面的步骤进行调整。

THE END
1.数据挖掘的基本步骤和流程解析:深入洞察与策略实施在数据时代的浪潮中,数据挖掘技术已成为企业洞察市场、优化运营和驱动创新的利器。 它融合了统计学、机器学习、数据库管理和人工智能等领域的先进技术,旨在从海量数据中 提取有价值的信息。 本文将深入探讨数据挖掘的六个基本步骤,并详细解析每个步骤的操作要领、关键技术和实 https://blog.csdn.net/m0_67484548/article/details/142664830
2.什么是数据挖掘的流程?一步步带你掌握数据挖掘的完整过程7. 知识表示和应用 在模型评估之后,需要将挖掘出的知识以易于理解和使用的格式呈现,并将其应用于实际业务场景中。这一步骤的核心在于将复杂的分析结果转化为可操作的商业决策。例如,可以通过报告、图表或仪表板等形式向利益相关者展示分析结果,帮助他们做出更明智的决策。 https://www.cda.cn/view/204893.html
3.机器学习找不到创新点?三种特征选择的方法包你拿下顶会!文章介绍了一种新的特征选择框架shap-select,该框架通过在验证集上对目标变量与原始特征的SHAP值进行线性或逻辑回归,并根据回归系数的符号和显著性水平来实现高效的特征选择。在Kaggle信用卡欺诈数据集上的评估表明,shap-select在解释性、计算效率和性能方面均表现出色。 https://www.bilibili.com/read/cv40067807
4.数据挖掘基于数据挖掘技术的CRM应用腾讯云开发者社区三、客户关系管理应用数据挖掘的步骤 (一)需求分析 只有确定需求,才有分析和预测的目标,然后才能提取数据、选择方法,因此,需求分析是数据挖掘的基础条件。数据挖掘的实施过程也是围绕着这个目标进行的。在确定用户的需求后,应该明确所要解决的问题属于哪种应用类型,是属于关联分析、分类、聚类及预测,还是其他应用。应对https://cloud.tencent.com/developer/article/1044985
5.数据挖掘技术在客户关系管理中如何应用四、客户关系管理应用数据挖掘的步骤 1.需求分析 只有确定需求,才有分析和预测的目标,然后才能提取数据、选择方法,因此,需求分析是数据挖掘的基础条件。数据挖掘的实施过程也是围绕着这个目标进行的。在确定用户的需求后,应该明确所要解决的问题属于哪种应用类型,是属于关联分析、分类、聚类及预测,还是其他应用。应对现有https://www.wenshubang.com/xingzhengguanlibiyelunwen/151599.html
6.数据挖掘的步骤包括什么需要注意的是,数据挖掘是一个迭代的过程,每个步骤都可能需要根据实际情况进行调整和优化。此外,随着技术的发展和数据的不断增长,数据挖掘的方法和技术也在不断演进和改进。因此,在实际应用中,需要根据具体情况灵活运用各种技术和方法来满足不同的需求。 数据挖掘的步骤包括什么?数据挖掘是一种强大的工具,可以从海量数据https://www.pxwy.cn/news-id-81213.html
7.数据挖掘分析流程数据挖掘分析报告daleiwang的技术博客预先不知道目标数据的有关类的信息,需要以某种度量为标准将所有数据划分到各个族中,因此聚类分析又称无指导的学习。 客户细分在电信营销中的应用; 六、数据挖掘过程的一般步骤 数据挖掘的过程包括如下六步: 6.1 定义商业问题就是了解你的数据和业务问题,这是实施数据挖掘的基本前提,一个数据挖掘项目必须要有一个清晰https://blog.51cto.com/u_13633/9019208
8.数据挖掘的步骤有哪些?一旦模型通过评估,就可以将其部署到实际应用中。这一步骤涉及到将模型嵌入到业务流程中,确保其能够为决策和预测提供有用的信息。 三、基本方法 1. 数据预处理 在进行数据挖掘之前,数据预处理是至关重要的一环。这一步骤包括数据清洗、去噪声、处理缺失值等,旨在确保挖掘过程中使用的数据质量高、完整。 https://www.smartbi.com.cn/wiki/6291
9.数据挖掘(计算机科学)发现知识的方法可以是数字的、非数字的,也可以是归纳的。最终被发现的知识可以用于信息管理、查询优化、决策支持及数据自身的维护等。数据挖掘步骤 在实施数据挖掘之前,先制定采取什么样的步骤,每一步都做什么,达到什么样的目标是必要的,有了好的计划才能保证数据挖掘有条不紊地实施并取得成功。很多软件供应商和https://baike.baidu.com/item/%E6%95%B0%E6%8D%AE%E6%8C%96%E6%8E%98/216477
10.空间数据挖掘认识及其思考AET摘要: 在这个大数据时代,空间数据正在从各个领域飞速累计。空间数据挖掘作为数据挖掘的一部分,现已成为人们研究空间数据的重点学科。主要介绍了空间数据挖掘的基本概念、一般步骤及其最新的挖掘方法,表达了对当前空间数据挖掘的看法。最后对未来空间数据挖掘的研究方向进行了更加深入的探讨。 http://www.chinaaet.com/article/3000015273
11.数据分析与挖掘11篇(全文)Web数据挖掘过程是一个完整的知识发现的过程,但与传统数据和数据仓库相比,Web上的信息是非结构化或半结构化的、动态的,并且是容易造成混淆的,所以很难直接以Web网页上的数据进行数据挖掘,而必须经过必要的数据处理。因此可以将Web数据挖掘分为确定业务对象、数据准备、数据挖掘、结果分析等四个步骤。 https://www.99xueshu.com/w/ikeyp687ycyz.html
12.数据挖掘的六个步骤有哪些帆软数字化转型知识库数据挖掘的六个步骤分别是:问题定义、数据收集与准备、数据清洗、数据转换与特征选择、模型建立与评估、结果解释与部署。其中问题定义是数据挖掘过程的首要步骤,直接影响整个项目的成功与否。问题定义涉及明确业务目标、研究目标和所需的数据类型。只有在问题定义清晰的情况下,后续的每一步骤才能有的放矢,确保数据挖掘的结https://www.fanruan.com/blog/article/594251/
13.高效实施数据挖掘的方法和步骤yuanye1014产生的结果是否易为商业用户所理解?如果不能,需要采取什么步骤以使结果便于读懂?该工具是否要求商业专家参与整个数据挖掘过程? ? 第六阶段:结果发布 数据挖掘过程可能很简单,如只是对商业问题给出一个建议,也可能很复杂,如应用一个应用程序向信息客户提供新知识。无论简单还是复杂,在结果发布阶段,都要用到该过程。http://blog.chinaunix.net/uid-64814-id-2690182.html
14.计算机科学与技术学院课程介绍课程描述:Web网站构建技术是计算机科学与技术专业专业选修课,是针对当前Internet的发展以及WWW应用的一门课程。通过本课程的学习,使用学生能掌握Web网站的基本概念、基本原理和构建的基本方法;通过课堂讲授、课程实验以及课程设计,使学生能利用一种基于Web的开发环境,掌握开发的基本步骤;了解Web数据安全;了解Web服务及其相关https://it.ouc.edu.cn/2021/1009/c21707a350061/page.htm
15.数据挖掘概念与方法(精选八篇)本文首次将形式概念中“紧致依赖”理论应用在空间数据挖掘中, 在一个GIS实例中运用此理论找出关联规则, 并且对其在空间数据挖掘中的应用做出了一定的改进, 提出了基于Apri-ori剪枝的“紧致依赖”约减方法, 并证明了方法的正确性和优越性。运用此方法, 不仅可以无遗漏地找出所有满足支持度阈值并且置信度为1 的强关联https://www.360wenmi.com/f/cnkey6cf58u0.html
16.数据挖掘的基本步骤是什么?模型部署:将评估通过的模型部署到实际业务中,进行预测、分类等工作。 在实际应用中,数据挖掘的步骤可能会有所调整和扩展,但以上步骤是数据挖掘的基本流程。 关键字:数据挖掘、步骤、业务目标、数据理解、数据准备、建模、模型评估、模型部署0 相关课程 精英成长第4课:创新思维--问题意识创新破局 邹亮 ¥ 99.00 https://www.mbalib.com/ask/question-1ff33c04b2a8f83d1aff9875a50d017f.html
17.什么是数据挖掘?为什么它如此重要?数据挖掘的步骤 数据挖掘的方法取决于所问问题的类型以及提供分析原材料的数据集或数据库的内容和组织。数据挖掘涉及的步骤包括: 理解问题 企业的决策者需要对他们应该从事的领域有一个总体的了解。他们应该知道需要探索的内部和外部数据类型,并对业务和所涉及的不同功能领域有深入的了解。 https://ai.qianjia.com/html/2023-03/27_400072.html