联邦学习在电力数据分析中的应用及隐私保护方法与流程

2、与集中式的机器学习方法相比,联邦学习方法具有优秀的数据隐私保护能力。在联邦学习中,参与者无需上传隐私敏感数据,模型的训练在参与者的本地进行,训练出本地模型后仅与服务器共享模型的参数、梯度等特征,不交换原始数据,能够非常有效地解决数据分析中的隐私保护问题。因此联学习方法在智能电网的涉及隐私数据的数据挖掘、状态诊断与负荷预测等场景有广阔的应用前景。

技术实现思路

1、针对现有技术中的上述不足,本发明提供了联邦学习在电力数据分析中的应用及隐私保护方法,联邦学习方法能够有效保证客户端敏感数据的隐私性,应用利用主成分分析提取特征,识别模型获得了更好的性能,同时联邦识别模型具有与集中式方法相当的性能。

2、为了达到上述发明目的,本发明采用的具体方案为:

3、联邦学习在电力数据分析中的应用及隐私保护方法,联邦学习方法是客户端(电脑、平板、手机等设备)在中央服务器的协调下共同训练模型,客户端接收服务器下发的初始化模型,根据本地数据训练出一个本地模型并上传给服务器,服务器对客户端上传的模型参数进行安全聚合并反馈给客户端,客户端根据更新的模型进行下一次迭代,如此进行多次迭代直至模型收敛;

4、在恶意参与者和恶意服务器同时存在的情况下,采用一种混合防御机制同时对恶意参与者和恶意服务器采取防御,采用了将同态加密和差分隐私结合的方法,使用差分隐私对参与方上传的模型参数δi添加噪声,使其满足ε-差分隐私,然后再对添加噪声后的参数使用同态加密进行加密,这种方法可以有效防止联邦学习中的恶意参与者和恶意服务器勾结情况下的隐私泄露问题。

5、优选地,所述联邦学习的模型训练包括以下3个步骤:

6、(1)初始化:服务器预先给n个参与方d1,d2,…,dn分配一个初始神经网络模型,每个参与方可以选择加入联邦学习并以相同的机器学习方法训练模型;

7、(2)本地训练:在其中一轮通信过程中,参与方接受服务器下发的全局模型参数,每个参与方根据本地数据集(即私有样本数据)d1,d2,…,dn对模型进行训练,生成本地模型更新参数,并将模型参数ωi更新上传至服务器;

8、(3)模型平均:服务器按照一定的规则对所有服务器上传的本地模型参数进行聚合,训练出全局模型mg,更新全局模型参数ωg并下发给各参与者,让他们进行本地模型训练。

9、优选地,假设n个参与方p1,p2,…,pn分别拥有本地隐私数据d1,d2,…,dn,这n个参与方在不泄露本地隐私数据的前提下共同执行协议计算:f(d1,d2,…,dn)→(f1,f2,…,fn),参与方pi只能获得结果fi但是无法获得任何其他额外的信息。

10、优选地,所述联邦学习在电力数据分析中的应用为:将联邦学习用于电力消费者特征提取与识别,主成分分析法(pca)被用来从智能电表数据中提取特征,数据集d的第m行表示为dm,即第m个客户端的特征数据,令协方差矩阵可以表示为:令式(1)可以改成为:式中,cn表示第n个消费者的所有特征数据在数据集中的范围。

12、优选地,基于pca提取的特征,对每个特征训练出一个前馈ann模型,ωk表示人工神经网络对第k个特征的所有权重和偏差的集合,利用主成分分析提取特征,识别模型获得了更好的性能,同时联邦识别模型具有与集中式方法相当的性能。

13、本发明的有益效果为:

14、客户端(电脑、平板、手机等设备)在中央服务器的协调下共同训练模型。客户端接收服务器下发的初始化模型,根据本地数据训练出一个本地模型并上传给服务器。服务器对客户端上传的模型参数进行安全聚合并反馈给客户端,客户端根据更新的模型进行下一次迭代,如此进行多次迭代直至模型收敛。联邦学习方法能够有效保证客户端敏感数据的隐私性。研究表明,利用主成分分析提取特征,识别模型获得了更好的性能,同时联邦识别模型具有与集中式方法相当的性能。

1.联邦学习在电力数据分析中的应用及隐私保护方法,其特征在于,联邦学习方法是客户端(电脑、平板、手机等设备)在中央服务器的协调下共同训练模型,客户端接收服务器下发的初始化模型,根据本地数据训练出一个本地模型并上传给服务器,服务器对客户端上传的模型参数进行安全聚合并反馈给客户端,客户端根据更新的模型进行下一次迭代,如此进行多次迭代直至模型收敛;

2.根据权利要求1所述的联邦学习在电力数据分析中的应用及隐私保护方法,其特征在于,所述联邦学习的模型训练包括以下3个步骤:

3.根据权利要求1所述的联邦学习在电力数据分析中的隐私保护方法,其特征在于,假设n个参与方p1,p2,…,pn分别拥有本地隐私数据d1,d2,…,dn,这n个参与方在不泄露本地隐私数据的前提下共同执行协议计算:f(d1,d2,…,dn)→(f1,f2,…,fn),参与方pi只能获得结果fi但是无法获得任何其他额外的信息。

4.根据权利要求1所述的联邦学习在电力数据分析中的应用及隐私保护方法,所述联邦学习在电力数据分析中的应用为:将联邦学习用于电力消费者特征提取与识别,主成分分析法(pca)被用来从智能电表数据中提取特征,数据集d的第m行表示为dm,即第m个客户端的特征数据,令协方差矩阵可以表示为:令可以改成为:式中,cn表示第n个消费者的所有特征数据在数据集中的范围。

6.根据权利要求5所述的联邦学习在电力数据分析中的应用,基于pca提取的特征,对每个特征训练出一个前馈ann模型,ωk表示人工神经网络对第k个特征的所有权重和偏差的集合,利用主成分分析提取特征,识别模型获得了更好的性能,同时联邦识别模型具有与集中式方法相当的性能。

THE END
1.数据挖掘的数据安全与隐私数据隐私是指个人信息在收集、存储、处理和传输过程中的保护。数据隐私涉及到个人信息的收集、使用、传播和存储等各个环节,旨在保护个人的隐私权益。数据隐私的主要要素包括法律法规、技术手段、组织管理等。 在数据挖掘中,数据隐私问题主要表现为以下几个方面: https://blog.csdn.net/universsky2015/article/details/137314095
2.隐私保护机器学习:保护敏感数据的技术电子创新网Imgtec社区安全多方计算(Secure Multi-Party Computation, SMC)是一种加密技术,使得多个参与方可以共同计算某个函数的结果,而无需直接透露各自的输入数据。这种技术对于保护隐私尤为重要,特别是在那些需要数据共享与合作但又对数据隐私有高度要求的场景中。 例如,在金融、医疗或政府机构等领域,组织间常常需要合作处理和分析数据以https://imgtec.eetrend.com/blog/2024/100585463.html
3.数据挖掘的隐私概念数据挖掘与隐私保护一、隐私保护 现在,互联网上隐私是一个非常严重的问题。 隐私保护的数据挖掘是一个方兴未艾的研究领域。 因为我们都要去获取数据,但是怎么样才能既保护数据的隐私又能获得我们需要的数据?我们不能用常规的调查问卷收数据,如何设计调查问卷是个有趣的问题。 https://blog.51cto.com/u_16213620/9256859
4.人工智能技术的发展与隐私安全随着人工智能技术的快速发展,ChatGPT等对话模型正日益成为我们日常生活中的一部分。然而,随着其广泛应用的增加,人工智能也面临着一系列伦理挑战。AI应用程序和技术的发展与传播将成为人类的双向道路:一方面,这会通过使用更隐含的心理和行为数据,不断带来个人隐私侵犯,心理操纵增加等问题;另一方面,消费者将获得更好品类和https://zhuanlan.zhihu.com/p/664398565
5.采用加密技术在数据挖掘过程中隐藏敏感数据的方法属于()。【答案】:D 基于数据加密的技术:采用加密技术在数据挖掘过程中隐藏敏感数据的方法。https://zhidao.baidu.com/question/1935117475430413067.html
6.大数据差分隐私保护解决方案所以若想成功解决数据挖掘中的隐私泄露问题,就是要在挖掘过程中选择合适的隐私保护技术,使其尽量避免隐私数据被挖掘者泄露的同时,又能够保证挖掘结果的准确性。 有关保护隐私的问题最早在20世纪70年代末被提出[2],此后众多学者陆续地研发出许多隐私保护的模型。在当前已有的隐私保护模型中,K-匿名[3]模型及在相同理论https://www.360docs.net/doc/c2bfbe09db38376baf1ffc4ffe4733687f21fcf4.html
7.浅谈数据挖掘中的个人信息保护浅谈数据挖掘中的个人信息保护 【摘要】数据挖掘是当今社会最为重要的发现工具,它在为人们揭示出数据中的隐藏规律并创造出财富的同时,也对各类数据有着大量的需求。随着互联网的出现和发展,对所需数据的收集、交换和发布的过程正变得越来越便利。然而,这些丰富的数据资源中也同时包含着大量的个人隐私。更令人担忧的是http://media-ethic.ccnu.edu.cn/info/1168/2097.htm
8.大数据隐私保护第9篇洞察研究大数据隐私保护-第9篇-洞察研究  下载积分: 1388 内容提示: 大数据隐私保护 第一部分 大数据隐私保护原则 2 第二部分 数据加密技术与应用 6 第三部分 异构数据隐私保护方法 https://www.doc88.com/p-69719764649174.html
9.科学网—[转载]教育大数据隐私保护机制与技术研究而在技术层面上,学者们更加关注隐私保护机制改进,Gursoy M E等人提出学习分析过程中的隐私保护机制,将匿名和差异隐私两种大数据隐私保护技术运用到教育领域,解决教育数据发布和挖掘中的隐私泄露问题;Askinadze A等人则针对教育领域内数据挖掘算法的透明度进行了优化,让学生可自由选择数据存储及与第三方共享时的信息内容,https://blog.sciencenet.cn/blog-3472670-1280768.html
10.大数据分析的关键技术有哪些大数据分析的关键技术包括以下5条:1、数据清洗与融合;2、大数据处理框架;3、大数据建模与分析;4、大数据可视化;5、大数据隐私保护。大数据技术是一系列使用非传统的工具来对大量的结构化、半结构化和非结构化数据进行处理,从而获得分析和预测结果的数据处理技术。大数据价值的完整体现需要多种技术的协同。大数据关键https://www.linkflowtech.com/news/2065
11.同态加密技术及其在云计算隐私保护中的应用用户提供隐私安全保护已成为当前学界研究的一个热点.近年来, 隐私信息检索(private information retrieval)[1-3]、可搜索加密(searchable encryption)[4-8]、多方安全计算(secure multi-party computation)[9,10]技术大量地应用到了云中数据的隐私保护中, 隐私信息检索和可搜索加密技术使用户可以对加密数据进行检索获取https://jos.org.cn/html/2018/7/5354.htm
12.大数据系统隐私保护关键技术是什么?包括随机化,即对原始数据加入随机噪声,然后发布扰动后数据的方法;第二种是阻塞与凝聚,阻塞是指不发布某些特定数据的方法,凝聚是指原始数据记录分组存储统计信息的方法;第三类是差分隐私保护。 基于数据加密的技术,采用加密技术在数据挖掘过程隐藏敏感数据的方法,包括安全多方计算 SMC,即使两个或多个站点通过某种协议完成https://www.elecfans.com/d/2000987.html
13.去中心化的和隐私保护的密钥管理模型技术交流Pinkas[11]详细讨论了SMC和各种隐私保护数据挖掘技术。早期的RSA签名多方共享的例子是Santis等人提出的。 秘密门限共享和秘密分割是指将秘密分配到多个秘密份额中。这些股份随后由多个参与者公开。为了恢复秘密,必须从参与者那里取回预定数量的秘密份额。更正式地,给定参与者的有限集合P和参与者的子集的集合Γ,秘密门限方https://ac.nowcoder.com/discuss/1008170?type=1&order=3&page=0&channel=-1
14.大数据环境下的隐私保护技术新闻基于数据加密的技术采用加密技术在数据挖掘过程隐藏敏感数据的方法,包括安全多方计算 SMC,即使两个或多个站点通过某种协议完成计算后,每一方都只知道自己的输入数据和所有数据计算后的最终结果;还包括分布式匿名化,即保证站点数据隐私、收集足够的信息实现利用率尽量大的数据匿名 http://news.cntv.cn/2015/06/01/ARTI1433163987908952.shtml
15.个人信息安全保护措施论文(共13篇)大数据没有内部和外部数据库的划分,所以用户的隐私数据可以放在资源池中被任何用户访问,这为hacker提供了便利的信息获取渠道,并且能够通过数据之间的关联性挖掘出更加隐私的数据,拓宽了个人信息窃取的渠道,给个人信息安全造成极大的隐患。 篇2:个人信息安全保护措施论文https://www.hrrsj.com/wendang/lunwen/666365.html
16.数据安全挖掘技术包括哪些帆软数字化转型知识库数据安全挖掘技术包括数据加密、访问控制、数据屏蔽、隐私保护、多方安全计算、数据伪装、风险评估和监控。其中,数据加密是核心技术之一,详细描述如下:数据加密是将原始数据通过某种算法转换成不可读的密文,只有拥有解密密钥的人才能恢复数据。这种技术可以有效防止数据在传输和存储过程中被非法访问或窃取。通常使用的加密算法https://www.fanruan.com/blog/article/600319/
17.魏晓东大数据技术应用下医疗行为中个人信息保护的困境与解决四、大数据技术下医疗行为中个人信息保护的困境解决 我国个人信息保护法采取的规范形式与民法典人格权编中个人信息保护的规范形式是不同的,个人信息保护法采取了“事前同意”式的财产性规范模式,该法提出的个人信息权益概念,从解释论角度,也更像财产权。个人信息保护宗旨应是保护隐私权,个人信息保护法的财产性规范模式https://www.jfdaily.com/sgh/detail?id=1044300
18.[隐私政策]为了保证服务体验、处理服务纠纷,您在订单履行过程中拨打或者接听开启号码保护(隐私号)的电话时,您与商家、骑手间的通话信息可能会被录音。有关上述信息的收集和使用规则如下,或参见订单页面中的提示内容。 (1)当您与商家、骑手出现服务纠纷或发生违法违规行为时,平台可依据法律法规或相关规则/协议调取并使用录音信息作https://rules-center.meituan.com/rules-detail/137?commonType=7
19.有关保护个人信息安全论文(精选9篇)关键词:大数据;个人信息安全;数据匿名保护技术;数据水印保护技术;数据溯源技术 大数据为社会的发展、商业的预测、科学的进步提供了有效的数据支持,是数据服务的基础,大数据中关于个人信息的数据越来越多,不仅包含了个人的基础信息还包含了各种关联性的信息,从大数据环境中分析搜索资料,已经成为个人信息窃取的主要渠道。2https://www.ruiwen.com/lunwen/1047507.html
20.有人说科技公司是吃数据饭的与他们讨论数据隐私的保护是33.有人说,科技公司是吃数据饭的,与他们讨论数据隐私的保护是___。通俗地说,数据权利保护就是把缺乏监管的数据关进"笼子",把"笼子"的钥匙还给用户,这需要民意、技术、立法机构多方___。 A求全责备 竞争 B与虎谋皮 博弈 C缘木求鱼切磋 D水中捞月https://www.12tiku.com/newtiku/9999/8861562.html
21.大数据技术原理与应用期末复习知识点全总结(林子雨版3.数据处理与分析层面 功能:利用分布或并行编程模型和计算框架,结合机器学习和数据挖掘算法,实现对海量数据的处理和分析;对分析结果进行可视化呈现,帮助人们更好地理解数据、分析数据 4.数据安全和隐私保护层面 功能:在从大数据中挖掘潜在的巨大商业价值和学术价值的同时,构建隐私数据保护体系和数据安全体系,有效保护个人https://developer.aliyun.com/article/1418435