数据挖掘方法装置和系统与流程

本发明涉及大数据领域,特别涉及一种数据挖掘方法、装置和系统。

背景技术:

伴随世界石油资源的供需紧张和车辆排放法规的日趋严格,以电动汽车为代表的新能源汽车已成为汽车工业发展的趋势所在,并已开始在世界范围内得以推广应用。

我国自2001年开始大力推行电动汽车发展,虽然仍未实现普遍商业化,但随着技术的进步和基础设施布局的完善,电动汽车必将实现大规模增长,其带来的电力能源需求也将会对电力系统运行带来挑战。此外,电动汽车的大规模普及依赖于完善的电力补充基础设施网络,但电力需求的不确定性导致的充电设备容量和服务容量的不确定性,进而影响了电动汽车基础设施投资建设的积极性。因此,做好电动汽车的充电需求分析和预测工作,对电力系统加固现有电力网络和规划未来电力网络配置,大力推动电动汽车产业发展,减少车辆对环境的污染并缓解对石油资源的消耗具有重要的意义,对于大规模新增电动汽车带来的电力能源需求的分析和动态预测研究意义显著。

为了便于对充电设施信息进行有效管理,目前还出现了一种电动汽车充电公共服务互动平台,通过云平台统一管理,建立统一规范,实现了对充电站的运营情况、充电站的客流情况、充电装置的运行状态等充电设施信息的采集和管理,为规模数据和电力负荷数据的累积提供了有效手段。但是,由于充电设施信息数据量大、数据类型繁多不一、价值密度低、处理速度慢,人工无法准确在当前条件下对数据内容进行检索和管理,缺乏对来自不同数据源的离散数据集中分析的问题,数据库信息难以人为管理。且每个数据库之间的衔接、数据传递和交互很容易出现问题,无法保证有价值的数据得到提取,且数据挖掘效率低。

因此,如何通过数据挖掘系统分析电动汽车充电设施信息,预测电动汽车充电需求是一个亟待解决的难题。

技术实现要素:

根据本发明的一个方面,提供一种数据挖掘装置,包括:

数据挖掘模块,用于基于预定规则,对关键数据信息进行数据挖掘;

数据分析模块,用于对挖掘结果进行分析,以得到电动汽车充电需求分析结果;

结果上传模块,用于将分析结果上传给服务平台以进行显示。

在一个实施例中,上述装置还包括:

数据预处理模块,用于在数据挖掘模块在对关键数据信息进行数据挖掘前,对关键数据信息进行预处理,以便提高数据挖掘效率。

在一个实施例中,数据预处理模块包括:

数据清理单元,用于对关键数据信息进行清理,以去除异常值。

在一个实施例中,数据预处理模块还包括:

数据转换单元,用于对关键数据信息进行编码处理,以便将关键数据信息转换为便于搜索的数字形式。

数据归集分类单元,用于将同类数据进行归集分类处理。

数据优化单元,用于对关键数据信息进行优化处理,以便在不影响数据挖掘结果的情况下减小数据挖掘的范围。

在一个实施例中,装置还包括:

数据提取模块,用于在对关键数据信息进行预处理前,提取已筛选的关键数据信息,为提取出的每个关键数据信息添加索引标识。

在一个实施例中,预定规则基于tei@i方法论。

在一个实施例中,结果上传模块还用于按照电动汽车充电服务平台要求的数据传输协议,将分析结果上传给服务平台。

根据本发明的另一方面,提供一种数据挖掘系统,包括:

如上述任一实施例涉及的数据挖掘装置;

根据本发明的另一方面,提供一种数据挖掘方法,包括:

基于预定规则,对关键数据信息进行数据挖掘;

对挖掘结果进行分析,以得到电动汽车充电需求分析结果;

将分析结果上传给服务平台以进行显示。

在一个实施例中,在对关键数据信息进行数据挖掘前,还包括:

对关键数据信息进行预处理,以便提高数据挖掘效率。

在一个实施例中,对关键数据信息进行预处理包括:

对关键数据信息进行清理,以去除异常值。

在一个实施例中,对关键数据信息进行预处理还包括:

对关键数据信息进行编码处理,以便将关键数据信息转换为便于搜索的数字形式。

将同类数据进行归集分类处理。

对关键数据信息进行优化处理,以便在不影响数据挖掘结果的情况下减小数据挖掘的范围。

在一个实施例中,在对关键数据信息进行预处理前,还包括:

提取已筛选的关键数据信息;

为提取出的每个关键数据信息添加索引标识。

在一个实施例中,将分析结果上传给服务平台包括:

按照电动汽车充电服务平台要求的数据传输协议,将分析结果上传给服务平台。

通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1为本发明数据挖掘装置一个实施例的示意图。

图2为本发明数据挖掘装置另一实施例的示意图。

图3为本发明数据预处理模块一个实施例的示意图。

图4为本发明数据挖掘装置又一实施例的示意图。

图5为本发明数据挖掘系统一个实施例的示意图。

图6为本发明数据挖掘方法一个实施例的示意图。

图7为本发明数据挖掘方法另一实施例的示意图。

图8为本发明数据挖掘方法又一实施例的示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

在这里示出和讨论的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它示例可以具有不同的值。

应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。

图1为本发明数据挖掘装置一个实施例的示意图。如图1所示,数据挖掘装置可包括:

其中,关键数据信息可包括:充换电站的运营情况、充换电站的客流情况、充电装置的运行状态、车主预约充电信息、区域内电动汽车流量、区域内电动汽车保有量等。

数据挖掘模块12,用于基于预定规则对关键数据信息进行数据挖掘。

可选地,预定规则基于tei@i方法论。

其中,可基于tei@i理论,将复杂的数据系统分解为可以用结构化数据来分析主要趋势的部分,以及不规则因素影响的部分。结构化数据通过电动汽车充电规模和各区域电动汽车需求扩散规模等数据信息建立电动汽车充电需求结构化数据模型,并按照给定算法计算数据挖掘输出值。针对不规则因素影响部分,例如政府补贴政策变动等信息,设计建立基于德尔菲专家意见集成函数模型,通过集成专家意见的优化搜索模型进行分析,按照给定算法计算数据挖掘输出值。

数据分析模块13,用于对挖掘结果进行分析,以得到电动汽车充电需求分析结果。

可选地,上述分析可包括对数据进行有效范围选择、对选择后的数据进行聚类分配,对聚类分配后的数据进行持续分析,从而得到分析结果。

结果上传模块14,用于将分析结果上传给服务平台以进行显示。

可选地,结果上传模块14按照电动汽车充电服务平台要求的数据传输协议,将分析结果上传给服务平台。

这里需要说明的是,tei@i是本领域技术人员所了解的一种方法论,其中t代表文本挖掘textmining,e代表经济计量econometrics,i代表智能技术,intelligence@集成技术(integration),即方法的集成。由于tei@i方法论并不是本发明的发明点所在,因此这里不展开说明。

图2为本发明数据挖掘装置另一实施例的示意图。与图1所示实施例相比,除数据筛选模块21、数据挖掘模块22、数据分析模块23、结果上传模块24外,还包括数据预处理模块25,用于在数据挖掘模块22在对关键数据信息进行数据挖掘前,对关键数据信息进行预处理,以便提高数据挖掘效率。

图3为本发明数据预处理模块一个实施例的示意图。如图3所示,数据预处理模块25可包括数据清理单元31,用于对关键数据信息进行清理,以去除异常值。

具体来说,数据清理单元可用于筛查有缺失的数据值、平滑有噪声的数据、识别或去除异常值进行数据清理。例如,首先通过偏差检测,清理每个属性的定义域和数据类型、每个属性可接受的值、值的长度范围,查看是否所有的值都落在期望的值域内、属性之间是否存在已知的依赖;其次纠正偏差,纠正数据的不一致。偏差检测与纠正偏差过程迭代执行。

可选地,在图3所示实施例中,数据预处理模块还包括数据转换单元32,用于对关键数据信息进行编码处理,以便将关键数据信息转换为便于搜索的数字形式。

例如,可通过对数据信息进行编码处理,将数据库中字段的不同取值转换成便于搜索的数码形式,具体方法为通过将数据库中属性值按比例缩放,使之落入一个特定区间,使用神经网络算法进行分类挖掘,对数据元组中量度的每个属性输入值进行规范化。

可选地,在图3所示实施例中,数据预处理模块还包括数据归集分类单元33,用于将同类数据进行归集分类处理。

例如,可将同类数据归集到一起,区分结构化数据和非结构化数据类型,以及区分结构化数据中的线性数据和非线性数据类型,设置统一的属性定义域,给定每个属性数据类型和取值范围,给定所有的值都落在期望的值域。

可选地,在图3所示实施例中,数据预处理模块还包括数据优化单元34,用于对关键数据信息进行优化处理,以便在不影响数据挖掘结果的情况下减小数据挖掘的范围。

图4为本发明数据挖掘装置又一实施例的示意图。与图2所示实施例相比,除数据筛选模块41、数据挖掘模块42、数据分析模块43、结果上传模块44、数据预处理模块45外,还包括数据提取模块46,用于在数据预处理模块45对关键数据信息进行预处理前,提取已筛选的关键数据信息,为提取出的每个关键数据信息添加索引标识。

图5为本发明数据挖掘系统一个实施例的示意图。如图5所示,该系统包括电动汽车充电服务平台51和数据挖掘装置52。其中,数据挖掘装置52可图1至图4中任一实施例涉及的数据挖掘装置。

图6为本发明数据挖掘方法一个实施例的示意图。可选地,本实施例的方法步骤可由数据挖掘装置执行。其中:

步骤602,基于预定规则,对关键数据信息进行数据挖掘。

步骤603,对挖掘结果进行分析,以得到电动汽车充电需求分析结果。

步骤604,将分析结果上传给服务平台以进行显示。

可选地,可按照电动汽车充电服务平台要求的数据传输协议,将分析结果上传给服务平台。

图7为本发明数据挖掘方法另一实施例的示意图。可选地,本实施例的方法步骤可由数据挖掘装置执行。其中:

步骤702,对关键数据信息进行预处理,以便提高数据挖掘效率。

可选地,对关键数据信息进行预处理包括:

可选地,对关键数据信息进行预处理还包括:

步骤703,基于预定规则,对关键数据信息进行数据挖掘。

步骤704,对挖掘结果进行分析,以得到电动汽车充电需求分析结果。

步骤705,将分析结果上传给服务平台以进行显示。

图8为本发明数据挖掘方法又一实施例的示意图。可选地,本实施例的方法步骤可由数据挖掘装置执行。其中:

步骤802,提取已筛选的关键数据信息,为提取出的每个关键数据信息添加索引标识。

步骤803,对关键数据信息进行预处理,以便提高数据挖掘效率。

步骤804,基于预定规则,对关键数据信息进行数据挖掘。

步骤805,对挖掘结果进行分析,以得到电动汽车充电需求分析结果。

步骤806,将分析结果上传给服务平台以进行显示。

本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明的描述是为了示例和描述起见而给出的,而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用,并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

THE END
1.数据挖掘的过程和方法数据挖掘的过程和方法 我折腾了好久数据挖掘这事儿,总算找到点门道。说实话,一开始我也是瞎摸索。 我先跟你说啊,数据挖掘嘛,第一步得确定目标。这就好比你要去旅行,你得先知道你想去哪对吧。我之前就没整明白这个,随便找了些数据就开始挖,结果挖出来的东西根本没什么用,白忙活一场。所以说确定好你要挖掘https://wenku.baidu.com/view/7f1168947075a417866fb84ae45c3b3567ecddb0.html
2.数据挖掘的分析方法可以划分为关联分析序列模式分析分类分析和数据挖掘是从大量数据中提取有用信息的方法,主要分为四种分析方式:关联分析、序列模式分析、分类分析和聚类分析。在本指南中,我们将详细介绍这四种方法的实现过程,并提供相应的代码示例。 数据挖掘流程 首先,我们需要明确数据挖掘的基本流程,如下表所示: 流程图 https://blog.51cto.com/u_16213297/12863680
3.数据挖掘流程知青数据挖掘流程 目录 正文 回到顶部 CRISP-DM数据挖掘标准流程 CRISP-DM (cross-industry standard process for data mining), 即为"跨行业数据挖掘过程标准". 此KDD过程模型于1999年欧盟机构联合起草. 通过近几年的发展,CRISP-DM 模型在各种KDD过程模型中占据领先位置,采用量达到近60%.(数据引自Cios and Kurganhttps://www.cnblogs.com/Yuanjing-Liu/p/9408460.html
4.数据挖掘流程数据挖掘流程 (一)数据读取 读取数据,并进行展示 统计数据各项指标 明确数据规模与要完成的任务 (二)特征理解分析 单特征分析,逐个变量分析其对结果的影响 多变量统计分析,综合考虑多种情况影响 统计绘图得出结论 (三)数据清洗与预处理 对缺失值进行填充 https://www.jianshu.com/p/4934224be8fa
5.数据挖掘的挖掘流程是什么帆软数字化转型知识库其中,数据准备是整个流程的基础,它包括数据收集和初步数据探索。数据收集是指从各种数据源获取所需数据,这些数据源可以是数据库、数据仓库、文件系统以及实时数据流。初步数据探索则是对收集到的数据进行基本的统计分析和可视化,以便了解数据的基本特征和分布情况,为后续的数据处理和分析提供依据。在整个数据挖掘流程中,https://www.fanruan.com/blog/article/593346/
6.数据挖掘流程范文12篇(全文)数据挖掘流程 第1篇 1 数据挖掘的原理 数据挖掘是通过分析每个数据, 从大量数据中寻找其规律的技术, 其特点如图1。数据库是资源信息的存储地, 充分利用数据库资源对办公自动化系统有着重要的作用。由于计算机应用技术条件有限, 企业在数据挖掘地方面的操作存在不足, 导致数据资源浪费而影响了使用效率。数据挖掘技术本https://www.99xueshu.com/w/ikeyo1a9ca2z.html
7.数据挖掘流程详细解析袋鼠社区博客 数据挖掘流程详细解析 数据挖掘流程详细解析 数栈君 发表于 2024-05-23 11:49 396 0 数据挖掘是一门手艺。它涉及大量科学与技术的应用,而如何恰当地应用这些科学与技术也是一门技术。但如同其他成熟的手艺一样,数据挖掘也有一套易于理解的流程,可以将问题解构,并保证合理的一致性、可重复性和客观性。https://www.dtstack.com/bbs/article/19162
8.数据挖掘全流程数据挖掘全流程下载源文件 立即使用 导图社区 数据挖掘全流程53 1 举报 发布时间:2022-10-17 这是一个关于数据挖掘全流程的思维导图,讲述了数据挖掘全流程的相关故事,如果你对数据挖掘全流程的故事感兴趣,欢迎对该思维导图收藏和点赞~数据挖掘全流程https://mm.edrawsoft.cn/template/967026
9.数据挖掘实施流程数据挖掘实施流程 数据挖掘过程是根据数据特征建立模型,然后通过科学检验,发现模型和数据之间规模的一系列活动,具体来说就是确定分析对象,对数据进行预处理,选择合适的数据分析方法进行数据处理,将分析结果进行可视化展现等,以下将对各个环节进行详细分析。 1 数据准备 https://cda.pinggu.org/view/20055.html
10.数据挖掘算法通用流程数据挖掘算法与实践数据挖掘算法通用流程 整理了部分的数据挖掘流程,可以参考系列博客:数据挖掘系列课程https://download.csdn.net/blog/column/9940799/51816076
11.数据挖掘有哪些工作流程?数据挖掘工作流程: 一、收集数据 收集数据一般是补充外部数据,包括采用爬虫和接口,获取,补充目前数据不足部分。Pythonscrapy,requests是很好的工具。 二、准备数据 主要包括数据清洗,预处理,错值纠正,缺失值填补。连续值离散化,去掉异常值,以及数据归一化的过程。同时需要根据准备采用的挖掘工具准备恰当的数据格式。 https://www.cda.cn/view/17711.html
12.商战数据挖掘:你需要了解的数据科学与分析思维基本概念:一系列典型数据挖掘任务;数据挖掘流程;有监督型数据挖掘与无监督型数据挖掘 数据科学的一条重要原则是,数据挖掘的流程可以分解为几个通俗易懂的环节。有些环节涉及信息技术的应用,如数据中模式的自动发现和评估,而有些则主要依赖数据分析师的创意、常识和商业知识。理解数据挖掘的整个过程,有助于组织数据挖掘https://www.ituring.com.cn/book/tupubarticle/28952
13.一文搞懂!商业数据分析全流程为了使数据挖掘过程更加规范化、系统化,出现了一些数据挖掘流程模型,CRISP-DM即是其中的一种优秀代表。CRISP-DM全称为CRoss Industry Standard Process for Data Mining(跨行业数据挖掘标准流程),如图1.2所示,这个流程模型将整个数据挖掘过程划分为六个主要阶段:业务理解、数据理解、数据准备、模型建立、模型评估和结果部https://www.niaogebiji.com/article-606353-1.html
14.数据挖掘技术方法(精选十篇)1.2 传统数据挖掘 一般的数据挖掘过程就是提取数据信息的过程,其过程大多如下图所示(图1): 1.3 网络数据挖掘 网络数据挖掘是个新生事物,笼统地讲析太过抽象,所以我们就以社交网站为例来探析下网络数据挖掘。微博诞生也不过数年光景,就以之为例。微博是大家熟知的社交网站,通过社交网站的数据挖掘的管理流程,就可窥https://www.360wenmi.com/f/cnkeyg31vygx.html
15.12GEO数据挖掘之转录组测序数据流程以GSE150392为例1. 数据下载 proj = "GSE150392" #可以套用在其他代码里面了 1. 生存信息与临床信息 这里仅仅是查看一下生存信息等样品临床表型信息,到生存信息部分再整理。 library(GEOquery) eSet = getGEO("GSE150392",destdir = ".",getGPL = F) eSet = eSet[[1]] http://www.sxmu.edu.cn/bdcd/info/1109/1264.htm
16.过程挖掘:数据科学实战MOOC中国数据科学是一个属于未来的学科,不能以智慧的方式使用(大)数据的组织将无法生存。数据科学家仅仅专注于数据存储和数据分析是不够的,还要将数据与过程分析联系起来。过程挖掘在传统的基于模型的过程分析(如模拟和其他业务流程管理技术)和以数据为中心的分析技术(如机器学习和数据挖掘)之间搭建了一座重要桥梁。过程挖掘寻求https://www.mooc.cn/course/1271.html
17.科学网—[转载]智慧医院建设背景下的电子病历分析利用框架电子病历数据的特性为电子病历数据挖掘带来了困难和挑战。基于已有研究,本节梳理了基于数据挖掘的电子病历分析流程,并针对分析挖掘结果阐述了基于知识图谱的多维度医疗知识管理。 (1)基于数据挖掘的电子病历分析挖掘流程 基于数据挖掘的电子病历分析挖掘指通过数据挖掘的理论方法对电子病历进行处理,将其中蕴含的知识进行挖掘https://blog.sciencenet.cn/blog-3472670-1304039.html