数据挖掘方法装置和系统与流程

本发明涉及大数据领域,特别涉及一种数据挖掘方法、装置和系统。

背景技术:

伴随世界石油资源的供需紧张和车辆排放法规的日趋严格,以电动汽车为代表的新能源汽车已成为汽车工业发展的趋势所在,并已开始在世界范围内得以推广应用。

我国自2001年开始大力推行电动汽车发展,虽然仍未实现普遍商业化,但随着技术的进步和基础设施布局的完善,电动汽车必将实现大规模增长,其带来的电力能源需求也将会对电力系统运行带来挑战。此外,电动汽车的大规模普及依赖于完善的电力补充基础设施网络,但电力需求的不确定性导致的充电设备容量和服务容量的不确定性,进而影响了电动汽车基础设施投资建设的积极性。因此,做好电动汽车的充电需求分析和预测工作,对电力系统加固现有电力网络和规划未来电力网络配置,大力推动电动汽车产业发展,减少车辆对环境的污染并缓解对石油资源的消耗具有重要的意义,对于大规模新增电动汽车带来的电力能源需求的分析和动态预测研究意义显著。

为了便于对充电设施信息进行有效管理,目前还出现了一种电动汽车充电公共服务互动平台,通过云平台统一管理,建立统一规范,实现了对充电站的运营情况、充电站的客流情况、充电装置的运行状态等充电设施信息的采集和管理,为规模数据和电力负荷数据的累积提供了有效手段。但是,由于充电设施信息数据量大、数据类型繁多不一、价值密度低、处理速度慢,人工无法准确在当前条件下对数据内容进行检索和管理,缺乏对来自不同数据源的离散数据集中分析的问题,数据库信息难以人为管理。且每个数据库之间的衔接、数据传递和交互很容易出现问题,无法保证有价值的数据得到提取,且数据挖掘效率低。

因此,如何通过数据挖掘系统分析电动汽车充电设施信息,预测电动汽车充电需求是一个亟待解决的难题。

技术实现要素:

根据本发明的一个方面,提供一种数据挖掘装置,包括:

数据挖掘模块,用于基于预定规则,对关键数据信息进行数据挖掘;

数据分析模块,用于对挖掘结果进行分析,以得到电动汽车充电需求分析结果;

结果上传模块,用于将分析结果上传给服务平台以进行显示。

在一个实施例中,上述装置还包括:

数据预处理模块,用于在数据挖掘模块在对关键数据信息进行数据挖掘前,对关键数据信息进行预处理,以便提高数据挖掘效率。

在一个实施例中,数据预处理模块包括:

数据清理单元,用于对关键数据信息进行清理,以去除异常值。

在一个实施例中,数据预处理模块还包括:

数据转换单元,用于对关键数据信息进行编码处理,以便将关键数据信息转换为便于搜索的数字形式。

数据归集分类单元,用于将同类数据进行归集分类处理。

数据优化单元,用于对关键数据信息进行优化处理,以便在不影响数据挖掘结果的情况下减小数据挖掘的范围。

在一个实施例中,装置还包括:

数据提取模块,用于在对关键数据信息进行预处理前,提取已筛选的关键数据信息,为提取出的每个关键数据信息添加索引标识。

在一个实施例中,预定规则基于tei@i方法论。

在一个实施例中,结果上传模块还用于按照电动汽车充电服务平台要求的数据传输协议,将分析结果上传给服务平台。

根据本发明的另一方面,提供一种数据挖掘系统,包括:

如上述任一实施例涉及的数据挖掘装置;

根据本发明的另一方面,提供一种数据挖掘方法,包括:

基于预定规则,对关键数据信息进行数据挖掘;

对挖掘结果进行分析,以得到电动汽车充电需求分析结果;

将分析结果上传给服务平台以进行显示。

在一个实施例中,在对关键数据信息进行数据挖掘前,还包括:

对关键数据信息进行预处理,以便提高数据挖掘效率。

在一个实施例中,对关键数据信息进行预处理包括:

对关键数据信息进行清理,以去除异常值。

在一个实施例中,对关键数据信息进行预处理还包括:

对关键数据信息进行编码处理,以便将关键数据信息转换为便于搜索的数字形式。

将同类数据进行归集分类处理。

对关键数据信息进行优化处理,以便在不影响数据挖掘结果的情况下减小数据挖掘的范围。

在一个实施例中,在对关键数据信息进行预处理前,还包括:

提取已筛选的关键数据信息;

为提取出的每个关键数据信息添加索引标识。

在一个实施例中,将分析结果上传给服务平台包括:

按照电动汽车充电服务平台要求的数据传输协议,将分析结果上传给服务平台。

通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1为本发明数据挖掘装置一个实施例的示意图。

图2为本发明数据挖掘装置另一实施例的示意图。

图3为本发明数据预处理模块一个实施例的示意图。

图4为本发明数据挖掘装置又一实施例的示意图。

图5为本发明数据挖掘系统一个实施例的示意图。

图6为本发明数据挖掘方法一个实施例的示意图。

图7为本发明数据挖掘方法另一实施例的示意图。

图8为本发明数据挖掘方法又一实施例的示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

在这里示出和讨论的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它示例可以具有不同的值。

应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。

图1为本发明数据挖掘装置一个实施例的示意图。如图1所示,数据挖掘装置可包括:

其中,关键数据信息可包括:充换电站的运营情况、充换电站的客流情况、充电装置的运行状态、车主预约充电信息、区域内电动汽车流量、区域内电动汽车保有量等。

数据挖掘模块12,用于基于预定规则对关键数据信息进行数据挖掘。

可选地,预定规则基于tei@i方法论。

其中,可基于tei@i理论,将复杂的数据系统分解为可以用结构化数据来分析主要趋势的部分,以及不规则因素影响的部分。结构化数据通过电动汽车充电规模和各区域电动汽车需求扩散规模等数据信息建立电动汽车充电需求结构化数据模型,并按照给定算法计算数据挖掘输出值。针对不规则因素影响部分,例如政府补贴政策变动等信息,设计建立基于德尔菲专家意见集成函数模型,通过集成专家意见的优化搜索模型进行分析,按照给定算法计算数据挖掘输出值。

数据分析模块13,用于对挖掘结果进行分析,以得到电动汽车充电需求分析结果。

可选地,上述分析可包括对数据进行有效范围选择、对选择后的数据进行聚类分配,对聚类分配后的数据进行持续分析,从而得到分析结果。

结果上传模块14,用于将分析结果上传给服务平台以进行显示。

可选地,结果上传模块14按照电动汽车充电服务平台要求的数据传输协议,将分析结果上传给服务平台。

这里需要说明的是,tei@i是本领域技术人员所了解的一种方法论,其中t代表文本挖掘textmining,e代表经济计量econometrics,i代表智能技术,intelligence@集成技术(integration),即方法的集成。由于tei@i方法论并不是本发明的发明点所在,因此这里不展开说明。

图2为本发明数据挖掘装置另一实施例的示意图。与图1所示实施例相比,除数据筛选模块21、数据挖掘模块22、数据分析模块23、结果上传模块24外,还包括数据预处理模块25,用于在数据挖掘模块22在对关键数据信息进行数据挖掘前,对关键数据信息进行预处理,以便提高数据挖掘效率。

图3为本发明数据预处理模块一个实施例的示意图。如图3所示,数据预处理模块25可包括数据清理单元31,用于对关键数据信息进行清理,以去除异常值。

具体来说,数据清理单元可用于筛查有缺失的数据值、平滑有噪声的数据、识别或去除异常值进行数据清理。例如,首先通过偏差检测,清理每个属性的定义域和数据类型、每个属性可接受的值、值的长度范围,查看是否所有的值都落在期望的值域内、属性之间是否存在已知的依赖;其次纠正偏差,纠正数据的不一致。偏差检测与纠正偏差过程迭代执行。

可选地,在图3所示实施例中,数据预处理模块还包括数据转换单元32,用于对关键数据信息进行编码处理,以便将关键数据信息转换为便于搜索的数字形式。

例如,可通过对数据信息进行编码处理,将数据库中字段的不同取值转换成便于搜索的数码形式,具体方法为通过将数据库中属性值按比例缩放,使之落入一个特定区间,使用神经网络算法进行分类挖掘,对数据元组中量度的每个属性输入值进行规范化。

可选地,在图3所示实施例中,数据预处理模块还包括数据归集分类单元33,用于将同类数据进行归集分类处理。

例如,可将同类数据归集到一起,区分结构化数据和非结构化数据类型,以及区分结构化数据中的线性数据和非线性数据类型,设置统一的属性定义域,给定每个属性数据类型和取值范围,给定所有的值都落在期望的值域。

可选地,在图3所示实施例中,数据预处理模块还包括数据优化单元34,用于对关键数据信息进行优化处理,以便在不影响数据挖掘结果的情况下减小数据挖掘的范围。

图4为本发明数据挖掘装置又一实施例的示意图。与图2所示实施例相比,除数据筛选模块41、数据挖掘模块42、数据分析模块43、结果上传模块44、数据预处理模块45外,还包括数据提取模块46,用于在数据预处理模块45对关键数据信息进行预处理前,提取已筛选的关键数据信息,为提取出的每个关键数据信息添加索引标识。

图5为本发明数据挖掘系统一个实施例的示意图。如图5所示,该系统包括电动汽车充电服务平台51和数据挖掘装置52。其中,数据挖掘装置52可图1至图4中任一实施例涉及的数据挖掘装置。

图6为本发明数据挖掘方法一个实施例的示意图。可选地,本实施例的方法步骤可由数据挖掘装置执行。其中:

步骤602,基于预定规则,对关键数据信息进行数据挖掘。

步骤603,对挖掘结果进行分析,以得到电动汽车充电需求分析结果。

步骤604,将分析结果上传给服务平台以进行显示。

可选地,可按照电动汽车充电服务平台要求的数据传输协议,将分析结果上传给服务平台。

图7为本发明数据挖掘方法另一实施例的示意图。可选地,本实施例的方法步骤可由数据挖掘装置执行。其中:

步骤702,对关键数据信息进行预处理,以便提高数据挖掘效率。

可选地,对关键数据信息进行预处理包括:

可选地,对关键数据信息进行预处理还包括:

步骤703,基于预定规则,对关键数据信息进行数据挖掘。

步骤704,对挖掘结果进行分析,以得到电动汽车充电需求分析结果。

步骤705,将分析结果上传给服务平台以进行显示。

图8为本发明数据挖掘方法又一实施例的示意图。可选地,本实施例的方法步骤可由数据挖掘装置执行。其中:

步骤802,提取已筛选的关键数据信息,为提取出的每个关键数据信息添加索引标识。

步骤803,对关键数据信息进行预处理,以便提高数据挖掘效率。

步骤804,基于预定规则,对关键数据信息进行数据挖掘。

步骤805,对挖掘结果进行分析,以得到电动汽车充电需求分析结果。

步骤806,将分析结果上传给服务平台以进行显示。

本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明的描述是为了示例和描述起见而给出的,而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用,并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

THE END
1.数据挖掘的基本步骤和流程解析:深入洞察与策略实施业务理解是数据挖掘的起点,它确保了数据挖掘项目的方向与业务目标一致。 确定数据挖掘目标:例如,一家电商公司可能想要通过分析客户购买行为来提高交叉销售 率。这里的挖掘目标就是识别潜在的购买组合。 深入业务流程:通过工作坊、访谈和问卷调查等方式,与业务人员合作,识别影响销售的关 https://blog.csdn.net/m0_67484548/article/details/142664830
2.数据挖掘的六大过程数据挖掘的六大过程通常包括:数据清洗、数据集成、数据选择、数据变换、数据挖掘、模式评估。 这六个过程构成了一个系统而复杂的工作流程,旨在从大量数据中提取有用的模式和知识,支持决策和预测。 以下是每个过程的详细解释: 一、数据清洗 定义:数据清洗是对原始数据进行预处理的过程,旨在解决数据缺失、不一致、噪声等https://www.ai-indeed.com/encyclopedia/10656.html
3.什么是数据挖掘的流程?一步步带你掌握数据挖掘的完整过程数据挖掘已经成为现代商业和科技领域中不可或缺的一部分。它不仅帮助企业从海量数据中提取有价值的信息,还为决策提供了有力的支持。本文将带你详细了解数据挖掘的完整流程,从商业理解到模型部署,帮助你逐步掌握这一复杂而有趣的过程。 1. 商业理解 数据挖掘的第一步是商业理解,即明确业务目标和问题,理解项目需求。https://www.cda.cn/view/204893.html
4.数据挖掘流程范文12篇(全文)数据挖掘流程 第1篇 1 数据挖掘的原理 数据挖掘是通过分析每个数据, 从大量数据中寻找其规律的技术, 其特点如图1。数据库是资源信息的存储地, 充分利用数据库资源对办公自动化系统有着重要的作用。由于计算机应用技术条件有限, 企业在数据挖掘地方面的操作存在不足, 导致数据资源浪费而影响了使用效率。数据挖掘技术本https://www.99xueshu.com/w/ikeyo1a9ca2z.html
5.数据挖掘技术方法(精选十篇)1.2 传统数据挖掘 一般的数据挖掘过程就是提取数据信息的过程,其过程大多如下图所示(图1): 1.3 网络数据挖掘 网络数据挖掘是个新生事物,笼统地讲析太过抽象,所以我们就以社交网站为例来探析下网络数据挖掘。微博诞生也不过数年光景,就以之为例。微博是大家熟知的社交网站,通过社交网站的数据挖掘的管理流程,就可窥https://www.360wenmi.com/f/cnkeyg31vygx.html
6.阿里云机器学习平台PAI介绍学习笔记2.内置阿里、蚂蚁多年沉淀的分布式算法,将成熟的算法封装起来,支持百亿级数据量训练,处理能力是比较强的。 3.WEB 界面,通过拖、拉、拽等方式即可完成复杂数据挖掘流程 他的平台架构最底层是基础设施,上面是开放框架,第三层是模型与算法,最上层是业务应用层,不管应用哪一层,以及自己开发模型或者是直接使用他的模型都https://developer.aliyun.com/article/1086353
7.电子商务应用论文(15篇)2Web数据挖掘的流程 Web数据挖掘是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理,从中提取商业决策的关键性数据,可以使企业把数据转化为有用的信息帮助决策,从而在市场竞争中获得优势地位。在电子商务环境下,Web数据挖掘主要分为以下几步:(1)数据收集。首先数据收集主要针对web数据中的服务器数据https://www.yjbys.com/biyelunwen/fanwen/dianzixinxigongcheng/733161.html
8.数据挖掘实施流程数据挖掘实施流程 数据挖掘过程是根据数据特征建立模型,然后通过科学检验,发现模型和数据之间规模的一系列活动,具体来说就是确定分析对象,对数据进行预处理,选择合适的数据分析方法进行数据处理,将分析结果进行可视化展现等,以下将对各个环节进行详细分析。 1 数据准备 https://cda.pinggu.org/view/20055.html
9.数据挖掘全流程数据挖掘全流程下载源文件 立即使用 导图社区 数据挖掘全流程53 1 举报 发布时间:2022-10-17 这是一个关于数据挖掘全流程的思维导图,讲述了数据挖掘全流程的相关故事,如果你对数据挖掘全流程的故事感兴趣,欢迎对该思维导图收藏和点赞~数据挖掘全流程https://mm.edrawsoft.cn/template/967026
10.数据挖掘流程示例泰坦尼克号Kaggle上面有一个经典的入门题目,泰坦尼克号乘客的生存预测。此文针对这个题目,演示数据挖掘的一些基本方法。 题目描述 灾难发生的时候,由于救生艇有限,所以2224位乘客中只有722位获救。虽然有运气成分,但是某些群体的人获救的概率更大,比如女士,小孩等。题目要求研究哪类人群更容易获救,并且对乘客是否获救做出预测。 https://www.jianshu.com/p/235343c6bb46
11.商战数据挖掘:你需要了解的数据科学与分析思维数据科学的一条重要原则是,数据挖掘的流程可以分解为几个通俗易懂的环节。有些环节涉及信息技术的应用,如数据中模式的自动发现和评估,而有些则主要依赖数据分析师的创意、常识和商业知识。理解数据挖掘的整个过程,有助于组织数据挖掘项目,使它们更接近系统性的分析,而不是凭借运气和个人智慧的冒险行为。 https://www.ituring.com.cn/book/tupubarticle/28952
12.一文搞懂!商业数据分析全流程CRISP-DM全称为CRoss Industry Standard Process for Data Mining(跨行业数据挖掘标准流程),如图1.2所示,这个流程模型将整个数据挖掘过程划分为六个主要阶段:业务理解、数据理解、数据准备、模型建立、模型评估和结果部署。 CRISP-DM强调,数据挖掘是一个迭代和探索的过程,六个步骤并不是线性的,而是根据实际情况灵活进行https://www.niaogebiji.com/article-606353-1.html
13.数据挖掘架构层次数据挖掘六个阶段CRISP-DM--数据挖掘标准流程 在1996年的时候,SPSS,戴姆勒-克莱斯勒和NCR公司发起共同成立了一个兴趣小组,目的是为了建立数据挖掘方法和过程的标准。并在1999年正式提炼出了CRISP-DM流程。这个流程确定了一个数据挖掘项目的生命周期包括以下六个阶段: 业务/研究理解阶段 https://blog.51cto.com/u_16099184/6736582
14.12GEO数据挖掘之转录组测序数据流程以GSE150392为例1. 数据下载 proj = "GSE150392" #可以套用在其他代码里面了 1. 生存信息与临床信息 这里仅仅是查看一下生存信息等样品临床表型信息,到生存信息部分再整理。 library(GEOquery) eSet = getGEO("GSE150392",destdir = ".",getGPL = F) eSet = eSet[[1]] http://www.sxmu.edu.cn/bdcd/info/1109/1264.htm
15.大数据审计工作模式探索研究审计知识大数据时代,利用信息化技术手段能将大量杂而乱的审计数据进行多维分析和数据挖掘,转换成可靠的、深层次的信息。故审计机关必须适应大数据审计需要,构建国家审计数据系统和数字化审计平台,积极运用大数据技术,提高运用信息化技术查核问题、评价判断、宏观分析的能力,扩大审计监督的广度和深度。 https://sjj.panjin.gov.cn/2020_11/17_00/content-279844.html
16.过程挖掘:数据科学实战MOOC中国数据科学是一个属于未来的学科,不能以智慧的方式使用(大)数据的组织将无法生存。数据科学家仅仅专注于数据存储和数据分析是不够的,还要将数据与过程分析联系起来。过程挖掘在传统的基于模型的过程分析(如模拟和其他业务流程管理技术)和以数据为中心的分析技术(如机器学习和数据挖掘)之间搭建了一座重要桥梁。过程挖掘寻求https://www.mooc.cn/course/1271.html
17.StableDiffusion的完整指南:核心基础知识制作AI数字人视频和本地部署SD模型文生图流程 1)自动编码器(VAE) 在图像生成任务中,VAE的编码器可以将输入图片转换为低维的特征表示,作为后续模型的输入。这些低维特征保留原图像的主要语义信息。而VAE的解码器则可以将编码器输出的低维特征再次恢复为完整的图像。解码器实现了从压缩特征到图像空间的映射。不同的VAE结构设计,会使其在图像中https://www.elecfans.com/d/2238250.html
18.数据挖掘的挖掘流程是什么帆软数字化转型知识库数据挖掘的挖掘流程包括:数据准备、数据清洗、数据集成、数据变换、数据挖掘、模式评估、知识表示。其中,数据准备是整个流程的基础,它包括数据收集和初步数据探索。数据收集是指从各种数据源获取所需数据,这些数据源可以是数据库、数据仓库、文件系统以及实时数据流。初步数据探索则是对收集到的数据进行基本的统计分析和可https://www.fanruan.com/blog/article/593346/