图表示学习(GraphRepresentationLearning)

在文本数据中,单词在一个句子中连接在一起,并且它们在该句子中具有固定的位置。

在图像数据中,像素排列在有序的网格空间上,可以用网格矩阵表示。

但是,图中的节点和边是无序的,并且具有特征。这导致在保留图结构的同时,将图实体映射到潜空间并且保留邻近关系具有挑战性。

图表示学习主要分为五大类:图核模型(graphkernels)、矩阵分解模型(matrixfactorizationmodels)、浅层模型(shallowmodels)、深度神经网络模型(deepneuralnetworkmodels)和非欧几里得模型(non-Euclideanmodels)。

图核模型是利用核函数,度量图与其实体之间的相似性,图核的主要思想是将原始图分解为子结构,并基于子结构特征构造向量嵌入。

图核模型主要有两种类型:kernelsforgraphs和kernelsongraphs。

局限性:图核模型处理大规模图时的计算复杂性较高,因为计算图核是一个NP难问题。

矩阵分解模型的目标是将邻近矩阵分解为小规模矩阵的乘积,然后拟合其邻近性以学习节点嵌入。

矩阵分解模型主要有两种类型:拉普拉斯特征分解(Laplacianeigenmaps)和节点邻近矩阵分解(Nodeproximitymatrixfactorization)。

局限性:矩阵分解模型由于计算复杂性而无法捕获高阶接近性。

浅层模型是一种嵌入模型,旨在通过最大化目标节点的邻域概率学习节点嵌入,从而将图实体映射到低维向量空间。该模型通常使用采样技术来捕获图结构和邻近关系,然后基于浅层神经网络算法学习节点嵌入。

浅层模型根据学习嵌入的策略,可分为两类:结构保存模型和邻近性重建模型。

局限性:

图神经网络(GNN)以归纳式学习节点嵌入。

RecurrentGNNs:旨在通过每个隐藏层中具有相同权重的递归层来学习节点嵌入,并递归运行直到收敛。不足:RGNN模型的每个隐藏层使用相同的权重可能会导致模型无法区分局部结构和全局结构。

Graphautoencoder:通过重构输入图结构来学习复杂的图结构,图自动编码器由两个主要层组成:编码器层将邻接矩阵作为输入并压缩以生成节点嵌入,解码器层重建输入数据。

GCNs:是在每个隐藏层中使用具有不同权重的卷积算子,捕获和区分局部结构和全局结构。

GAT:通过注意力机制在消息聚合的过程中为每个邻居节点分配不同的权重。

优点:

局限性:大多数GNN在堆叠更多GNN层时,会遇到过度平滑的问题和来自相邻节点的噪声的问题。

Graphtransformermodels主要有三种类型:用于树状图的transformer(transformerfortree-likegraphs),带GNN的transformer(transformerwithGNNs),和全局自注意力的transformer(transformerwithglobalself-attention)。

Graphtransformer的优点:

由于现实世界中的图可能具有复杂的结构和不同的形式,因此欧几里得空间可能不足以表示图结构,并最终导致结构损失。

非欧几里得模型主要有三种:球面型(spherical)、双曲型(hyperbolic)和高斯型(Gaussian)

HoangVT,JeonHJ,YouES,etal.Graphrepresentationlearninganditsapplications:asurvey[J].Sensors,2023,23(8):4168.

THE END
1.练习构建和训练神经网络现在,调用fit函数来训练神经网络: Python hist = model.fit(x_train, y_train, validation_data=(x_test, y_test), epochs=5, batch_size=128) 训练大约需要 6 分钟,或每个时期需要 1 分钟以上。epochs=5告诉 Keras 通过模型执行 5 次向前和向后传递。 凭借每次传递,模型将从训练数据中学习并使用测https://docs.microsoft.com/zh-cn/learn/modules/analyze-review-sentiment-with-keras/2-build-and-train-a-neural-network/
2.迁移学习与在线学习(1)而要入门深度学习,CNN和RNN作为最常用的两种神经网络是必学的。网上关于深度学习的资料很多,但大多知识点分散、内容不系统,或者以理论为主、代码实操少,造成学员学习成本高。本门课程将从最基础的神经元出发,对深度学习的基础知识进行全面讲解,帮助大家迅速成为人工智能领域的入门者,是进阶人工智能深层领域的基石。https://download.csdn.net/learn/30851/457657
3.BrilliantBrilliant是一个在线学习平台,提供Introduction to Neural Networks课程介绍神经网络知识,让学生理解神经网络的基础知识,学习构建和调节神经网络,并应用神经网络解决实际问题。 Introduction to Neural Networks是Brilliant平台上的一门神经网络入门课程。这门课程面向初学者,介绍神经网络的基本概念、模型与算法。学习者可以在这https://www.aizhinan.cn/tools/2320.html
4.在线深度学习:在数据流中实时学习深度神经网络机器之心在线深度学习:在数据流中实时学习深度神经网络 在线深度学习的主要困难是模型的容量、复杂度等设置很不灵活,即模型是静态的,而数据流是动态的。本论文提出了一种适应性的网络框架,结合 HBP 算法,使网络结构能随着数据的流入而逐渐扩展、复杂化。这使得模型同时拥有在线学习和深度学习的优点,并在多种在线学习模型和https://www.jiqizhixin.com/articles/2017-12-30
5.在线网课学习课堂《神经网络理论及应用(北工商)》单元测试考核在线网课学习课堂《神经网络理论及应用(北工商)》单元测试考核答案.docx,注:不含主观题 第1题 判断题 (1分) 人工神经元是一个多输入、多输出的信息处理单元 第2题 判断题 (1分) 人工神经元数学模型决定该节点本身的信息处理能力 第3题 单选题 (1分) 人工神经网络的激活函数https://max.book118.com/html/2022/0429/8132040142004075.shtm
6.在线学习课堂网课《机器学习初步(南京)》单元测试考核答案(1分) BP算法的每一轮采用的是什么学习规则? A 广义感知机学习规则B 广义最小二乘学习规则C 广义决策树学习规则D 广义支持向量机学习规则 第3题 填空题 (1分) BP算法的全称为___(7个字)。 神经网络-章节测试 第1题 单选题 (1分) 下列关于BP算法使用小步长优化神经网络的说法中正确的是哪个? A 一定https://www.ddwk123.cn/archives/654288
7.2什么是神经网络(机器学习)易学在线课堂1 人学习 手机版扫码 扫码访问手机版 课程目录 学员 1、科普: 人工神经网络 VS 生物神经网络04:39 学员 2、什么是神经网络 (机器学习)00:00 学员 3、神经网络 : 梯度下降 (Gradient Descent in Neural Nets)04:07 学员 4、科普: 神经网络的黑盒不黑04:55 学员 5、1 why?01:13 学员 6、2 安装 (https://bbs.easyaiforum.cn/lesson-2863.html
8.记忆工场Memoryer神经网络背单词软件下载背单词软件背单词软件脑与神经科学家、认知心理学家与人工智能专家 让我们一起来探究人类大脑认知与记忆的奥秘 开启神经网络学习的奇幻之旅 Memoryer 记忆者 全新一代单词记忆软件 点击查看 脑语者 全新一代语法学习软件 点击查看 记忆手册 了解您的大脑,理解您的记忆机理 点击查看 https://www.memoryer.com/
9.第五章神经网络(周志华机器学习)学习总结而解决非线性可分的问题(如异或问题),需要考虑使用多层功能神经元。 5、多层网络 5.1 什么是多层网络 多层网络:只需要包含隐层,即可称为多层网络。 神经网络的学习过程,就是根据训练数据来调整神经元之间的连接权(connection weight)以及每个功能的阈值,换言之,神经网络“学”到的东西,蕴涵在连接权和阈值中。 https://www.jianshu.com/p/1b1bf5fc0422
10.学习笔记:神经网络学习算法腾讯云开发者社区主流的神经网络学习算法(或者说学习方式)可分为三大类:有监督学习(SupervisedLearning)、无监督学习(Unsupervised Learning)和强化学习(Reinforcement Learning),如下图所示。 注:有监督学习、无监督学习和强化学习并不是某一种特定的算法,而是一类算法的统称。 https://cloud.tencent.com/developer/article/1610502
11.神经网络与深度学习特别是最近这几年,得益于数据的增多、计算能力的增强、学习算法的成熟以及应用场景的丰富,越来越多的人开始关注这个“崭新”的研究领域:深度学习。深度学习以神经网络为主要模型,一开始用来解决机器学习中的表示学习问题。但是由于其强大的能力,深度学习越来越多地用来解决一些通用人工智能问题,比如推理、决策等。目前,http://nndl.github.io/
12.数据驱动的精准化学习评价机制与方法Li等(2020)利用神经网络对采集到的学生课堂学习图像数据和学习轨迹进行分析,以判断学生在学习过程中的参与度。Chan等 (2020)利用深度学习技术分析学习过程中产生的多模态数据,对学生的情感态度、学业投入、课堂专注等进行量化评价,进而分析学习者的学习动机。https://www.fx361.com/page/2021/0226/7597189.shtml
13.大数据机器学习清华大学4.条件随机场的学习算法 5.条件随机场的预测算法 17第十七章 概率图模型的学习与推断 开头 1.精确推断法:变量消去法和信念传播法 2.近似推断法:MCMC和变分推断 18第十八章 神经网络和深度学习 1.神经网络的发展历程 2.神经网络的基本概念以及常见的神经网络(一) https://www.xuetangx.com/courses/course-v1:TsinghuaX+70240403+2019_T1/about
14.AI深度强化学习落地方法七步曲2——状态空间篇回报函数篇如果我们提前对原始信息做些二次加工,人为提炼出与学习目标更相关的因素,相当于替神经网络干了一部分活儿,虽然不那么elegant,但往往能收到奇效。举个极端例子,直接告诉agent钥匙的相对坐标在哪儿,一定比神经网络通过原始图像更容易学到吃钥匙的操作。由于强化学习的优化目标是折扣累加的长期收益,这使得reward起作用的https://www.shangyexinzhi.com/article/4228946.html