图表示学习(GraphRepresentationLearning)

在文本数据中,单词在一个句子中连接在一起,并且它们在该句子中具有固定的位置。

在图像数据中,像素排列在有序的网格空间上,可以用网格矩阵表示。

但是,图中的节点和边是无序的,并且具有特征。这导致在保留图结构的同时,将图实体映射到潜空间并且保留邻近关系具有挑战性。

图表示学习主要分为五大类:图核模型(graphkernels)、矩阵分解模型(matrixfactorizationmodels)、浅层模型(shallowmodels)、深度神经网络模型(deepneuralnetworkmodels)和非欧几里得模型(non-Euclideanmodels)。

图核模型是利用核函数,度量图与其实体之间的相似性,图核的主要思想是将原始图分解为子结构,并基于子结构特征构造向量嵌入。

图核模型主要有两种类型:kernelsforgraphs和kernelsongraphs。

局限性:图核模型处理大规模图时的计算复杂性较高,因为计算图核是一个NP难问题。

矩阵分解模型的目标是将邻近矩阵分解为小规模矩阵的乘积,然后拟合其邻近性以学习节点嵌入。

矩阵分解模型主要有两种类型:拉普拉斯特征分解(Laplacianeigenmaps)和节点邻近矩阵分解(Nodeproximitymatrixfactorization)。

局限性:矩阵分解模型由于计算复杂性而无法捕获高阶接近性。

浅层模型是一种嵌入模型,旨在通过最大化目标节点的邻域概率学习节点嵌入,从而将图实体映射到低维向量空间。该模型通常使用采样技术来捕获图结构和邻近关系,然后基于浅层神经网络算法学习节点嵌入。

浅层模型根据学习嵌入的策略,可分为两类:结构保存模型和邻近性重建模型。

局限性:

图神经网络(GNN)以归纳式学习节点嵌入。

RecurrentGNNs:旨在通过每个隐藏层中具有相同权重的递归层来学习节点嵌入,并递归运行直到收敛。不足:RGNN模型的每个隐藏层使用相同的权重可能会导致模型无法区分局部结构和全局结构。

Graphautoencoder:通过重构输入图结构来学习复杂的图结构,图自动编码器由两个主要层组成:编码器层将邻接矩阵作为输入并压缩以生成节点嵌入,解码器层重建输入数据。

GCNs:是在每个隐藏层中使用具有不同权重的卷积算子,捕获和区分局部结构和全局结构。

GAT:通过注意力机制在消息聚合的过程中为每个邻居节点分配不同的权重。

优点:

局限性:大多数GNN在堆叠更多GNN层时,会遇到过度平滑的问题和来自相邻节点的噪声的问题。

Graphtransformermodels主要有三种类型:用于树状图的transformer(transformerfortree-likegraphs),带GNN的transformer(transformerwithGNNs),和全局自注意力的transformer(transformerwithglobalself-attention)。

Graphtransformer的优点:

由于现实世界中的图可能具有复杂的结构和不同的形式,因此欧几里得空间可能不足以表示图结构,并最终导致结构损失。

非欧几里得模型主要有三种:球面型(spherical)、双曲型(hyperbolic)和高斯型(Gaussian)

HoangVT,JeonHJ,YouES,etal.Graphrepresentationlearninganditsapplications:asurvey[J].Sensors,2023,23(8):4168.

THE END
1.图神经网络基础知识——初识图学习其中,每个用户或者商家都有着各自的特征,也具备着某些相同的特征,同时也有着与他人的交互。传统方法通常是直接利用用户和商家的特征来训练一个分类网络,而没有利用节点与节点之间的交互,因此使用图学习,我们可以同时学习图结构以及节点特征,更好的进行分类,从而更好地找到金融诈骗分子。 https://blog.csdn.net/zbp_12138/article/details/110141387
2.图神经网络及其应用.pptx应用》的PPT提纲:图神经网络基本概念图神经网络的发展历程图神经网络的基本模型图神经网络的训练方法图神经网络的应用领域图神经网络在推荐系统中的应用图神经网络在图像处理中的应用图神经网络的挑战与未来发展目录图神经网络基本概念图神经网络及其应用图神经网络基本概念1.图神经网络是一种用于处理图形数据的深度学习模型https://m.renrendoc.com/paper/302479376.html
3.网络学习素材网络学习图片网络学习素材图片下载第3页觅知网为您找到1066个原创网络学习素材图片,包括网络学习图片,网络学习素材,网络学习海报,网络学习背景,网络学习模板源文件下载服务,包含PSD、PNG、JPG、AI、CDR等格式素材,更多关于网络学习素材、图片、海报、背景、插画、配图、矢量、UI、PS、免抠,模板、艺术字、https://www.51miz.com/so-sucai/157549/p_3/
4.深度学习时代的图模型,清华发文综述图网络机器之心深度学习在多个领域中实现成功,如声学、图像和自然语言处理。但是,将深度学习应用于普遍存在的图数据仍然存在问题,这是由于图数据的独特特性。近期,该领域出现大量研究,极大地提升了图分析技术。清华大学朱文武等人综述了应用于图的不同深度学习方法。 他们将现有方法分为三个大类:半监督方法,包括图神经网络和图卷积网https://www.jiqizhixin.com/articles/122304
5.前沿综述:面向复杂系统建模的多模态图学习澎湃号·湃客图学习(Graph Learning)是一种研究和应用图结构数据的机器学习方法。在图学习中,数据被表征为由节点和边组成的图形,其中节点表示实体或对象,边表示它们之间的关系或连接。因此图学习特别适用于复杂系统的多尺度分析、建模与仿真研究,揭示复杂系统中的模式、规律和动态变化。图学习常用的技术包括图卷积网络、图注意力网络https://www.thepaper.cn/newsDetail_forward_25672785
6.干货图神经网络的十大学习资源分享雷峰网字幕组双语原文:【干货】图神经网络的十大学习资源分享 英语原文:Top 10 Learning Resources for Graph Neural Networks 翻译:雷锋字幕组(听风1996) 图神经网络(GNNs)是深度学习的一个相对较新的领域,从最近开始越来越流行。Twitter、Google或Facebook等大公司都会开始对于GNN投入研究,事实证明了GNN优于其他使用图数据https://www.leiphone.com/news/202010/7Xuv0ipza1lmd125.html
7.高清图解:神经网络机器学习数据科学一网打尽附PDF这份备忘单涵盖了上述领域几乎全部的知识点,并使用信息图、脑图等多种可视化方式呈现,设计精美,实用性强。 今天,新智元要为大家推荐一个超实用、颜值超高的神经网络+机器学习+数据科学和Python的完全图解,文末附有高清PDF版链接,支持下载、打印,推荐大家可以做成鼠标垫、桌布,或者印成手册等随手携带,随时翻看。https://news.hexun.com/2019-05-14/197181509.html
8.深度学习中的拓扑美学:GNN基础与应用近些年来使用建模分析图结构的研究越来越受到关注,其中基于深度学习的图建模方法的图神经网络(Graph Neural Network, GNN),因其出色的性能成为学术界的研究热点之一。 导读:在真实世界中,很多数据往往以图的形式出现,例如社交网络、电商购物、蛋白质相互作用关系等,过去几年基于神经网络的图数据分析与挖掘方式因其出色的https://www.51cto.com/article/743377.html
9.MindSpore官网相较于其他框架对常用算子进行定制优化的方案更加灵活,更具扩展性,能够覆盖现有框架中已有的算子和新组合算子的融合优化。以昇思MindSpore全场景AI框架作为后端,昇思MindSpore Graph Learning能使GNN网络训练获得3到4倍的性能加速。 3.3 丰富性:覆盖业界典型图学习网络https://www.mindspore.cn/news/newschildren?id=967
10.图算法图数据库在风控嘲的应用腾讯云开发者社区Mean 函数,如周围的设备平均的交易数。之前风控从业者通过手工去设计这个一阶的 Aggregate,通过图算法能从一阶到两阶。 神经网络的聚合 引入了神经网络以后,把一阶或者二阶的 Velocity 通过神经网络学习。让算法去学坏人的 Pattern 而不是手工地去归纳,增加了绕过成本和模型的鲁棒性。单纯的一阶的阈值很容易被黑产https://cloud.tencent.com/developer/article/2197696
11.基于图卷积网络的图深度学*暖夏未眠丶摘要: 处理图结构数据的佼佼者! 更多深度文章,请关注云计算频道: https://yq.aliyun.com/cloud 基于图卷积网络的图深度学习 先简单回顾一下,深度学习到底干成功了哪些事情!深度学习近些年在语音识别,图片识别,自然语音处理等领域可谓是屡建奇功。ImageNet:是https://www.cnblogs.com/jzy996492849/p/7250542.html