数据挖掘方法装置和系统与流程

本发明涉及大数据领域,特别涉及一种数据挖掘方法、装置和系统。

背景技术:

伴随世界石油资源的供需紧张和车辆排放法规的日趋严格,以电动汽车为代表的新能源汽车已成为汽车工业发展的趋势所在,并已开始在世界范围内得以推广应用。

我国自2001年开始大力推行电动汽车发展,虽然仍未实现普遍商业化,但随着技术的进步和基础设施布局的完善,电动汽车必将实现大规模增长,其带来的电力能源需求也将会对电力系统运行带来挑战。此外,电动汽车的大规模普及依赖于完善的电力补充基础设施网络,但电力需求的不确定性导致的充电设备容量和服务容量的不确定性,进而影响了电动汽车基础设施投资建设的积极性。因此,做好电动汽车的充电需求分析和预测工作,对电力系统加固现有电力网络和规划未来电力网络配置,大力推动电动汽车产业发展,减少车辆对环境的污染并缓解对石油资源的消耗具有重要的意义,对于大规模新增电动汽车带来的电力能源需求的分析和动态预测研究意义显著。

为了便于对充电设施信息进行有效管理,目前还出现了一种电动汽车充电公共服务互动平台,通过云平台统一管理,建立统一规范,实现了对充电站的运营情况、充电站的客流情况、充电装置的运行状态等充电设施信息的采集和管理,为规模数据和电力负荷数据的累积提供了有效手段。但是,由于充电设施信息数据量大、数据类型繁多不一、价值密度低、处理速度慢,人工无法准确在当前条件下对数据内容进行检索和管理,缺乏对来自不同数据源的离散数据集中分析的问题,数据库信息难以人为管理。且每个数据库之间的衔接、数据传递和交互很容易出现问题,无法保证有价值的数据得到提取,且数据挖掘效率低。

因此,如何通过数据挖掘系统分析电动汽车充电设施信息,预测电动汽车充电需求是一个亟待解决的难题。

技术实现要素:

根据本发明的一个方面,提供一种数据挖掘装置,包括:

数据挖掘模块,用于基于预定规则,对关键数据信息进行数据挖掘;

数据分析模块,用于对挖掘结果进行分析,以得到电动汽车充电需求分析结果;

结果上传模块,用于将分析结果上传给服务平台以进行显示。

在一个实施例中,上述装置还包括:

数据预处理模块,用于在数据挖掘模块在对关键数据信息进行数据挖掘前,对关键数据信息进行预处理,以便提高数据挖掘效率。

在一个实施例中,数据预处理模块包括:

数据清理单元,用于对关键数据信息进行清理,以去除异常值。

在一个实施例中,数据预处理模块还包括:

数据转换单元,用于对关键数据信息进行编码处理,以便将关键数据信息转换为便于搜索的数字形式。

数据归集分类单元,用于将同类数据进行归集分类处理。

数据优化单元,用于对关键数据信息进行优化处理,以便在不影响数据挖掘结果的情况下减小数据挖掘的范围。

在一个实施例中,装置还包括:

数据提取模块,用于在对关键数据信息进行预处理前,提取已筛选的关键数据信息,为提取出的每个关键数据信息添加索引标识。

在一个实施例中,预定规则基于tei@i方法论。

在一个实施例中,结果上传模块还用于按照电动汽车充电服务平台要求的数据传输协议,将分析结果上传给服务平台。

根据本发明的另一方面,提供一种数据挖掘系统,包括:

如上述任一实施例涉及的数据挖掘装置;

根据本发明的另一方面,提供一种数据挖掘方法,包括:

基于预定规则,对关键数据信息进行数据挖掘;

对挖掘结果进行分析,以得到电动汽车充电需求分析结果;

将分析结果上传给服务平台以进行显示。

在一个实施例中,在对关键数据信息进行数据挖掘前,还包括:

对关键数据信息进行预处理,以便提高数据挖掘效率。

在一个实施例中,对关键数据信息进行预处理包括:

对关键数据信息进行清理,以去除异常值。

在一个实施例中,对关键数据信息进行预处理还包括:

对关键数据信息进行编码处理,以便将关键数据信息转换为便于搜索的数字形式。

将同类数据进行归集分类处理。

对关键数据信息进行优化处理,以便在不影响数据挖掘结果的情况下减小数据挖掘的范围。

在一个实施例中,在对关键数据信息进行预处理前,还包括:

提取已筛选的关键数据信息;

为提取出的每个关键数据信息添加索引标识。

在一个实施例中,将分析结果上传给服务平台包括:

按照电动汽车充电服务平台要求的数据传输协议,将分析结果上传给服务平台。

通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1为本发明数据挖掘装置一个实施例的示意图。

图2为本发明数据挖掘装置另一实施例的示意图。

图3为本发明数据预处理模块一个实施例的示意图。

图4为本发明数据挖掘装置又一实施例的示意图。

图5为本发明数据挖掘系统一个实施例的示意图。

图6为本发明数据挖掘方法一个实施例的示意图。

图7为本发明数据挖掘方法另一实施例的示意图。

图8为本发明数据挖掘方法又一实施例的示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

在这里示出和讨论的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它示例可以具有不同的值。

应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。

图1为本发明数据挖掘装置一个实施例的示意图。如图1所示,数据挖掘装置可包括:

其中,关键数据信息可包括:充换电站的运营情况、充换电站的客流情况、充电装置的运行状态、车主预约充电信息、区域内电动汽车流量、区域内电动汽车保有量等。

数据挖掘模块12,用于基于预定规则对关键数据信息进行数据挖掘。

可选地,预定规则基于tei@i方法论。

其中,可基于tei@i理论,将复杂的数据系统分解为可以用结构化数据来分析主要趋势的部分,以及不规则因素影响的部分。结构化数据通过电动汽车充电规模和各区域电动汽车需求扩散规模等数据信息建立电动汽车充电需求结构化数据模型,并按照给定算法计算数据挖掘输出值。针对不规则因素影响部分,例如政府补贴政策变动等信息,设计建立基于德尔菲专家意见集成函数模型,通过集成专家意见的优化搜索模型进行分析,按照给定算法计算数据挖掘输出值。

数据分析模块13,用于对挖掘结果进行分析,以得到电动汽车充电需求分析结果。

可选地,上述分析可包括对数据进行有效范围选择、对选择后的数据进行聚类分配,对聚类分配后的数据进行持续分析,从而得到分析结果。

结果上传模块14,用于将分析结果上传给服务平台以进行显示。

可选地,结果上传模块14按照电动汽车充电服务平台要求的数据传输协议,将分析结果上传给服务平台。

这里需要说明的是,tei@i是本领域技术人员所了解的一种方法论,其中t代表文本挖掘textmining,e代表经济计量econometrics,i代表智能技术,intelligence@集成技术(integration),即方法的集成。由于tei@i方法论并不是本发明的发明点所在,因此这里不展开说明。

图2为本发明数据挖掘装置另一实施例的示意图。与图1所示实施例相比,除数据筛选模块21、数据挖掘模块22、数据分析模块23、结果上传模块24外,还包括数据预处理模块25,用于在数据挖掘模块22在对关键数据信息进行数据挖掘前,对关键数据信息进行预处理,以便提高数据挖掘效率。

图3为本发明数据预处理模块一个实施例的示意图。如图3所示,数据预处理模块25可包括数据清理单元31,用于对关键数据信息进行清理,以去除异常值。

具体来说,数据清理单元可用于筛查有缺失的数据值、平滑有噪声的数据、识别或去除异常值进行数据清理。例如,首先通过偏差检测,清理每个属性的定义域和数据类型、每个属性可接受的值、值的长度范围,查看是否所有的值都落在期望的值域内、属性之间是否存在已知的依赖;其次纠正偏差,纠正数据的不一致。偏差检测与纠正偏差过程迭代执行。

可选地,在图3所示实施例中,数据预处理模块还包括数据转换单元32,用于对关键数据信息进行编码处理,以便将关键数据信息转换为便于搜索的数字形式。

例如,可通过对数据信息进行编码处理,将数据库中字段的不同取值转换成便于搜索的数码形式,具体方法为通过将数据库中属性值按比例缩放,使之落入一个特定区间,使用神经网络算法进行分类挖掘,对数据元组中量度的每个属性输入值进行规范化。

可选地,在图3所示实施例中,数据预处理模块还包括数据归集分类单元33,用于将同类数据进行归集分类处理。

例如,可将同类数据归集到一起,区分结构化数据和非结构化数据类型,以及区分结构化数据中的线性数据和非线性数据类型,设置统一的属性定义域,给定每个属性数据类型和取值范围,给定所有的值都落在期望的值域。

可选地,在图3所示实施例中,数据预处理模块还包括数据优化单元34,用于对关键数据信息进行优化处理,以便在不影响数据挖掘结果的情况下减小数据挖掘的范围。

图4为本发明数据挖掘装置又一实施例的示意图。与图2所示实施例相比,除数据筛选模块41、数据挖掘模块42、数据分析模块43、结果上传模块44、数据预处理模块45外,还包括数据提取模块46,用于在数据预处理模块45对关键数据信息进行预处理前,提取已筛选的关键数据信息,为提取出的每个关键数据信息添加索引标识。

图5为本发明数据挖掘系统一个实施例的示意图。如图5所示,该系统包括电动汽车充电服务平台51和数据挖掘装置52。其中,数据挖掘装置52可图1至图4中任一实施例涉及的数据挖掘装置。

图6为本发明数据挖掘方法一个实施例的示意图。可选地,本实施例的方法步骤可由数据挖掘装置执行。其中:

步骤602,基于预定规则,对关键数据信息进行数据挖掘。

步骤603,对挖掘结果进行分析,以得到电动汽车充电需求分析结果。

步骤604,将分析结果上传给服务平台以进行显示。

可选地,可按照电动汽车充电服务平台要求的数据传输协议,将分析结果上传给服务平台。

图7为本发明数据挖掘方法另一实施例的示意图。可选地,本实施例的方法步骤可由数据挖掘装置执行。其中:

步骤702,对关键数据信息进行预处理,以便提高数据挖掘效率。

可选地,对关键数据信息进行预处理包括:

可选地,对关键数据信息进行预处理还包括:

步骤703,基于预定规则,对关键数据信息进行数据挖掘。

步骤704,对挖掘结果进行分析,以得到电动汽车充电需求分析结果。

步骤705,将分析结果上传给服务平台以进行显示。

图8为本发明数据挖掘方法又一实施例的示意图。可选地,本实施例的方法步骤可由数据挖掘装置执行。其中:

步骤802,提取已筛选的关键数据信息,为提取出的每个关键数据信息添加索引标识。

步骤803,对关键数据信息进行预处理,以便提高数据挖掘效率。

步骤804,基于预定规则,对关键数据信息进行数据挖掘。

步骤805,对挖掘结果进行分析,以得到电动汽车充电需求分析结果。

步骤806,将分析结果上传给服务平台以进行显示。

本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明的描述是为了示例和描述起见而给出的,而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用,并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

THE END
1.数据挖掘的分析方法可以划分为关联分析序列模式分析分类分析和数据挖掘流程 首先,我们需要明确数据挖掘的基本流程,如下表所示: 流程图 数据收集数据预处理数据分析结果评估结果展示 各步骤详解 1. 数据收集 这一阶段收集待分析的数据,可能来自数据库、CSV文件、API接口等多种来源。示例代码如下: importpandasaspd# 从CSV文件读取数据data=pd.read_csv('data.csv')# 读取名为dahttps://blog.51cto.com/u_16213297/12863680
2.好书推荐《数据挖掘技巧》数据挖掘一般是从大量的数据中通过计算机算法,去搜索隐藏于其中信息的过程。用通俗的话说,就是面临大量的数据,使用数据挖掘工具“探勘”一遍之前,审计人员不一定有明确的目标,挖掘出来的结果也不一定在审计人员的预料之中。数据挖掘作为一种新的计算机审计方法,能够辅助审计人https://mp.weixin.qq.com/s?__biz=MzU0ODk2NjA0Nw==&mid=2247509056&idx=3&sn=efa3fad8b2f29bc4520c0acc7354b793&chksm=fbb5ffb0ccc276a6cbbf6d12458f702a0a731627617b65747658b89c3bbcd90cde9b3f9a9192&scene=27
3.数据从哪里来,怎么到程序里去?在说明【定义问题比解决问题更重要这一部分】,我们举了几个例子,我们直接调用了现成的数据集来做模型和做预测。实际面对问题的时候,并不能这么快就开始工作:要获取什么数据、获取难度如何、获取到的数据质量如何……这些都是我们要面对和解决的问题。这部分工作会占到我们项目工作量的6、7成。 https://zhuanlan.zhihu.com/p/12225918138
4.数据挖掘的基本步骤和流程解析请阐述数据挖掘的基本过程和步骤通过对数据挖掘基本步骤和流程的深入理解,有助于我们更好地挖掘数据价值。 下面用一个具体的例子更详细的解释数据挖掘流程(具体代码用python语言实现)。 在这个例子中,我们将使用一个假设的电商数据集来进行用户购买行为的预测。 1. 明确目标 我们的目标是预测用户是否会购买某种商品。这属于二分类问题。 https://blog.csdn.net/m0_67484548/article/details/142665300
5.简述数据挖掘的主要步骤。答数据挖掘的主要步骤如下:①数据准备。对数据进行集成,数据选择和预分析。即从操作型环境中提取并集成数据,解决语义二义性问题,消除脏数据,使数据范围缩小,数据挖掘质量得到提高。②数据挖掘。利用数据挖掘器(data mining processor)中的各种数据挖掘方法,从大量的数据中识别出潜在的、有效的、新颖的、具有潜在价值的https://easylearn.baidu.com/edu-page/tiangong/questiondetail?id=1730370113065387683&fr=search
6.数据挖掘技术方法(精选十篇)网络数据挖掘是个新生事物,笼统地讲析太过抽象,所以我们就以社交网站为例来探析下网络数据挖掘。微博诞生也不过数年光景,就以之为例。微博是大家熟知的社交网站,通过社交网站的数据挖掘的管理流程,就可窥一斑而见全豹,对整个网络数据挖掘的方法与技术就都可以融会贯通了。我们可以举个例子,譬如应用面向对象的系统分https://www.360wenmi.com/f/cnkeyg31vygx.html
7.系统项目管理师(第4版)思维导图模板系统分析阶段的任务是根据系统设计任务书所确定的范围,对现行系统进行详细调查,描述现行系统的业务流程,指出现行系统的局限性和不足之处,确定新系统的基本目标和逻辑功能要求,即提出新系统的逻辑模型。系统分析阶段的工作成果体现在系统说明书中。 系统设计阶段 https://www.processon.com/view/654c455f8f11b40fe56ece43
8.数据分析和挖掘有哪些公开的数据来源?想要分析的时候,没有数据,就是巧妇难为无米之炊。以前想找一个数据需要费尽心思在网上去搜,最终还找不到自己想要的数据。通过编程爬虫数据,学习成本又太高,毕竟你的目标不是想要成为爬虫工程师,只是想要拿到数据来分析。那有没有傻瓜式的获取数据方法呢? https://www.bilibili.com/read/cv35060405/
9.直播回顾单细胞测序:从样本制备到数据挖掘的全流程探讨2023年6月7-8日,瑞沃德特邀达普生物产品经理潘鑫和达普生物、高级科学家肖之夏做客直播间,以“单细胞测序:从样本制备到数据挖掘的全流程探讨”为主题进行精彩分享,在线与大家一起探讨单细胞测序的奥秘! 没有赶上看直播 或想再回顾精彩内容的小伙伴 扫码即可查看直播回放 https://www.yiqi.com/news/detail_23958.html
10.数据分析流程包括哪些步骤综上所述,数据分析流程包括了问题定义、数据采集、数据探索和可视化、数据预处理和特征工程、建立模型和算法选择、模型评估和优化、模型应用和结果解释等七个步骤。 数据分析过程中需要使用的分析方法 在数据分析过程中,需要使用多种分析方法和技术,以从数据中提取有用的信息和洞察。下面介绍几种常见的数据分析方法和技https://www.linkflowtech.com/news/1597
11.商战数据挖掘:你需要了解的数据科学与分析思维数据科学的一条重要原则是,数据挖掘的流程可以分解为几个通俗易懂的环节。有些环节涉及信息技术的应用,如数据中模式的自动发现和评估,而有些则主要依赖数据分析师的创意、常识和商业知识。理解数据挖掘的整个过程,有助于组织数据挖掘项目,使它们更接近系统性的分析,而不是凭借运气和个人智慧的冒险行为。 https://www.ituring.com.cn/book/tupubarticle/28952
12.电子商务应用论文(15篇)2Web数据挖掘的流程 Web数据挖掘是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理,从中提取商业决策的关键性数据,可以使企业把数据转化为有用的信息帮助决策,从而在市场竞争中获得优势地位。在电子商务环境下,Web数据挖掘主要分为以下几步:(1)数据收集。首先数据收集主要针对web数据中的服务器数据https://www.yjbys.com/biyelunwen/fanwen/dianzixinxigongcheng/733161.html
13.一文搞懂!商业数据分析全流程CRISP-DM全称为CRoss Industry Standard Process for Data Mining(跨行业数据挖掘标准流程),如图1.2所示,这个流程模型将整个数据挖掘过程划分为六个主要阶段:业务理解、数据理解、数据准备、模型建立、模型评估和结果部署。 CRISP-DM强调,数据挖掘是一个迭代和探索的过程,六个步骤并不是线性的,而是根据实际情况灵活进行https://www.niaogebiji.com/article-606353-1.html
14.QC小组活动那些事儿2020版准则4.1.3b)条款要求对数据和信息进行分层整理和分析,更加强调“分层整理”的重要性。这么做是为了规避很多QC小组经常犯的一个错误,即对反映课题现状的数据挖掘不够充分,分层不够全面和深入,在其后的原因分析阶段不得不再次进行分层分析。 3)确定主要原因 https://www.zjmif.com/qualitymana/detail/id/26618.html
15.数据挖掘流程范文12篇(全文)根据数据库存储资源对象完成指定的操作, 以全面提高数据挖掘流程的操作水平。 摘要:数据挖掘是通过分析每个数据, 从大量数据中寻找其规律的技术, 数据挖掘会随不同领域的应用而有所变化, 每一种数据挖掘技术也会有各自的特性和使用步骤, 针对不同问题和需求所制定的数据挖掘过程也会存在差异。文章对数据挖掘的基本https://www.99xueshu.com/w/ikeyo1a9ca2z.html
16.数据挖掘的基本概念和工作流程金融IT那些事儿跨行业数据挖掘标准流程CRoss Industry Standard Process-Data Mining(CRISP-DM),是业界最流行的数据挖掘工作流程模型,于1999年由欧盟机构联合起草。该流程模型分为六个步骤:业务理解、数据理解、数据准备、建模、评估和部署应用。这些步骤并非一成不变的,也可以根据需要调整顺序。 https://www.shangyexinzhi.com/article/4052696.html
17.什么是数据挖掘的流程?一步步带你掌握数据挖掘的完整过程在数据预处理之后,下一步是对数据进行探索性分析。这一步骤的目的是理解数据的结构和模式,为后续的模型建立提供指导。数据分析可以使用统计方法和可视化工具,例如通过绘制散点图、直方图等来发现数据中的趋势和异常。 5. 模型建立 模型建立是数据挖掘的核心步骤。在这一阶段,需要选择合适的算法和模型来从数据中提取知https://www.cda.cn/view/204893.html
18.河北省职业院校技能大赛D.数据规约 4、以下哪个选项不属于大数据消费者洞察的特点? A.全面性 B.静态性 C.真实性 D.方便性 5、企业大数据项目分析流程包括以下步骤()(单选题) A.数据收集-业务理解-数据分析与挖掘-数据预处理-报告撰写 B.数据收集-业务理解-数据可视化-数据挖掘-报告撰写 http://hbszjs.hebtu.edu.cn/jnds/newsContent?newsId=2616&colId=7
19.海南省人民政府关于印发三个试点园区行政审批改革实施方案的通知(一)建设流程。 社会投资项目建设分四个阶段(项目入园评估、签订投资合同、自主建设、联合验收),政府投资项目建设分四个阶段(项目审核、招标投标、自主建设、联合验收)。 1.社会投资项目。 (1)入园评估阶段:项目业主组织编写《项目报告书》(见附件10),管委会对属于“准入清单”内的项目,就投资强度、产出效益、税收https://www.hainan.gov.cn/data/zfgb/2016/01/3453/
20.大数据金融第二章大数据相关技术第一节 大数据处理流程 首先是利用多种轻型数据库收集海量数据,对不同来源的数据进行预处理后,整合存储到大型数据库中,然后根据企业或个人目的和需求,运用合适的数据挖掘技术提取有益的知识,最后利用恰当的方式将结果展现给终端用户。 数据处理流程 一 数据采集 https://www.jianshu.com/p/d68251554c66
21.数据挖掘常用流程及算法腾讯云开发者社区4、模型的建立:选择和应用各种数据挖掘模型,并进行优化,以达到更好的效果。 5、模型的评估:对模型进行评价和打分,并检查模型的每个步骤,确认模型实现了商业目标。 6、上线发布:从数据中提炼出结论和知识,转化成一中用户可以使用的方式,可以是一份报告、也可以是一个比较复杂的重复挖掘的脚本,作为之后日常工作的一部https://cloud.tencent.com/developer/news/737893