忽略结构信息：仅使用节点属性构建文本提示，忽略邻接标签和关系。
隐式结构信息：用自然语言描述邻接信息和图拓扑结构；
显式结构信息：使用GNN模型对图结构进行编码。
编码模块。编码模块负责图和文本编码，我们将分别为每个模块提供总结。
图编码。预训练的GNN模型通常用于图编码。例如，GIT-Mol[139]采用预训练的MoMu模型[80]中的GIN模型来编码分子图。KoPA[137]使用预训练的RotateE模型来获取知识图中实体和关系嵌入。此外，GIMLET[138]提出了一个统一的图-文本模型，无需额外的图编码模块。特别是，GIMLET提出了一种基于距离的联合位置嵌入方法，利用最短图距离来表示图节点之间的相对位置，使变换器编码器能够编码图和文本。GraphToken[144]评估了一系列GNN模型作为图编码器，包括GCN、MPNN[105]、GIN、GraphTransformer、HGT[56]等。
文本编码。由于LLMs在理解文本信息方面的巨大能力，大多数现有方法，如ProteinChat[141]和DrugChat[136]，直接将LLMs用作文本编码器。在GraphLLM[134]中，利用LLM的分词器和冻结的嵌入表来获取节点文本属性的表示，与下游冻结的LLM对齐。
4.3异质性和泛化
尽管图神经网络（GNNs）在图任务中取得了令人瞩目的成绩，但它们也存在一些不足之处。一个显著的缺陷是邻居信息聚合机制的不足，尤其是在处理异构图时。当相邻节点缺乏相似性时，GNN的性能会显著下降。此外，GNN在面对分布外（OOD）泛化时也面临挑战，导致模型在训练数据之外的分布上的性能下降。这一挑战在实际应用中尤为突出，主要原因在于，包含所有可能的图结构在有限的训练数据中是非常困难的。因此，当GNN对未见过的图结构进行推断时，它们的性能可能会大幅下降。这种泛化能力的降低使得GNN在面对现实世界场景中不断演变的图数据时变得相对脆弱。例如，GNN可能在处理社交网络中新出现的社会关系时遇到困难。LLMs已被用来缓解上述限制。特别是，GraphText[28]通过将节点属性和关系封装在图语法树中，有效地解耦了深度和广度，与GNN基线相比，在异构图上取得了更好的结果。Chen等人[26]研究了LLM处理OOD泛化场景的能力。他们使用GOOD[151]基准作为标准，结果表明LLM在解决OOD泛化问题上表现出色。OpenGraph[145]旨在解决跨不同领域的零样本图任务。在这个模型中，LLMs被用来在数据稀缺情况下生成合成图，从而增强OpenGraph的预训练过程。
5图对LLMs的增强
5.1KG增强的LLM预训练
虽然LLMs在文本理解和生成方面表现出色，但它们仍可能产生语法正确但事实上错误的信息。在LLM预训练期间明确整合KG中的知识，有望增强LLM的学习能力和事实意识[155]–[157]。在本小节中，我们将概述KG增强预训练语言模型（PLMs）的研究进展。虽然针对LLMs的KG增强预训练的工作有限，但关于KG增强PLMs的研究可以为LLM预训练提供见解。现有的KG增强预训练方法可以分为三个主要类别：修改输入数据、修改模型结构和修改预训练任务。
5.1.1修改输入数据
5.1.2修改模型结构
5.1.3修改预训练任务
5.2KG增强的LLM推理
为了评估LLMs的透明度和可解释性，提出了各种基准。例如，Li等人[35]引入了一项名为知识感知语言模型归因（KaLMA）的新任务，并开发了相应的基准数据集。该基准评估LLM从知识图谱派生引用信息以支持其答案的能力。KaLMA还提供了一个自动评估，涵盖文本质量、引用质量和文本-引用对齐的答案方面。此外，XplainLLM[184]引入了一个数据集，更好地理解LLMs从“为什么选择”和“为什么不选择”的角度做出决策。
6应用
在本节中，我们将介绍实际应用，展示了GFMs和LLMs的潜力和价值。如表2所示，推荐系统、知识图谱、科学领域的AI和机器人任务规划成为最常见的领域。我们将全面总结每个应用。
6.1推荐系统
6.2知识图谱
6.3科学领域的AI
6.4机器人任务规划
机器人任务规划旨在将任务分解为一系列高级操作，由机器人逐步完成[210]。在任务执行期间，机器人需要感知周围环境的信息，这些信息通常使用场景图表示。在场景图中，节点代表场景对象，如人和桌子，而边描述对象之间的空间或功能关系。使LLMs能够进行机器人任务规划的关键取决于如何以场景图的形式表示环境信息。许多研究探索了使用场景信息的文本描述，并为LLMs构建提示以生成任务计划。Chalvatzaki等人[211]引入了Graph2NL映射表，使用相应的文本表达来表示具有不同数值范围的属性。例如，大于5的距离被表示为“远”，小于3的距离被表示为“可到达”。SayPlan[212]将场景图以JSON形式描述为文本序列，迭代地调用LLM生成计划并允许自我纠正。Zhen等人[213]提出了一个有效的提示模板，ThinkNetPrompt，以增强LLM在任务规划中的性能。与依赖于语言描述场景图信息的方法不同，GRID[113]使用图变换器对场景图进行编码。它利用跨模态注意力对齐图模态和用户指令，最终通过解码器层输出动作标记。LLMs的强大理解和推理能力在机器人任务规划中展示了巨大的潜力。然而，随着任务复杂性的增加，搜索空间急剧扩大，使用LLMs生成可行任务计划的效率面临着挑战。
7结论
在本综述中，我们已经全面回顾了LLMs时代图应用和图ML的最新进展，这是一个图学习中的新兴领域。我们首先回顾了图ML的演变，然后深入探讨了LLMs增强图ML的各种方法。由于LLMs在各个领域都具有显著的能力，它们有很大的潜力将图ML增强为GFMs。我们进一步探索了使用图增强LLMs，突出了它们在增强LLM预训练和推理方面的能力。此外，我们展示了它们在分子发现、知识图谱和推荐系统等多样化应用中的潜力。尽管取得了成功，但这个领域仍在发展中，并为进一步的进展提供了许多机会。因此，我们进一步讨论了几个挑战和潜在的未来方向。总的来说，我们的综述旨在为研究人员和从业者提供系统和全面的回顾，激发这个有前途领域的未来探索。