《图持续学习》综述

与传统持续学习类似，CGL也从限制模型参数的变化、隔离和保护对以前学习的任务重要的参数，以及回放先前任务的代表性数据以提醒模型先前学习的模式（图2）的角度来处理问题。然而，CGL的一个关键挑战是必须适当地保留数据的拓扑结构，这是图数据中包含的关键信息。在本节中，我们将按照这一分类介绍CGL技术，这也在表1中总结。

基于正则化的方法

由于遗忘的原因是模型参数在适应新任务后被修改，传统的基于正则化的方法[91]、[92]增加了惩罚项以防止参数发生剧烈变化。然而，这些方法并没有显式地保留图数据的拓扑结构。针对这一不足，拓扑感知权重保持（TWP）[2]提出通过对模型权重的正则化显式地保留在先前任务上学到的拓扑。

基于记忆回放的方法

基于记忆回放的方法通过使用来自先前任务的代表性数据重新训练模型来防止遗忘。传统的持续学习方法处理单个数据而不涉及交互，可以简单地采样并存储在缓冲区中。然而，对于图上的学习，基于记忆回放的方法将会遇到记忆爆炸的挑战[1]。在生成节点（一个数据点）的表示时，图神经网络（GNNs）通常会聚合来自多跳邻居的信息。因此，要重新生成单个节点的表示，就必须存储来自呈指数级扩展的邻域的信息。在密集图上，内存消耗很容易变得难以处理[1]。由于这个挑战，经验回放图神经网络（ER-GNN）[83]（图4（a））选择忽略图拓扑，仅存储单个节点的属性以重新生成表示。

CGL与图基础模型

促进图基础模型训练

构建图基础模型的一个有前途的方法是设计策略来微调预训练的LLMs，使其接受分词化的图输入，以便图结构知识与语言数据中包含的知识对齐。然而，这样的连续训练不可避免地会触发灾难性遗忘问题，因为图数据与用于预训练LLMs的语言数据位于显著不同的领域。因此，在这个过程中，CGL技术和一般的持续学习技术变得不可或缺。

此外，理想的图基础模型，无论是基于预训练的LLMs之上开发还是从零开始训练，都应通过持续整合新出现的数据来维持一个最新的知识库。然而，这个持续学习过程也可能引起遗忘问题，这也是当前LLMs面临的问题。在这种情况下，应开发CGL技术来解决这个问题。

此外，当新的图数据对应于不同的领域时，例如，模型可能同时遇到生物网络数据和分子图数据，跨领域学习也可能触发遗忘问题。在这种情景下，可以开发领域增量学习（domain-IL）CGL技术来解决问题。

开发大型图模型的潜在高效方式

与LLMs不同，LLMs在NLP任务中展示了令人印象深刻的性能，而大模型对于图数据的有效性仍然是一个问题。基于参数隔离的CGL模型在可能显著增加大小的扩展数据集上学习，模型的大小相应扩展。因此，它提供了一种潜在的解决方案，通过逐步扩展模型和数据集从零开始开发大型图模型。一方面，逐步学习任务而不是同时针对所有任务优化模型可能会降低优化难度。另一方面，CGL方法只会在必要时分配新参数[3]，这可以帮助缓解大型模型中的参数冗余问题。此外，现有的大型预训练图模型通常是特定于领域的[128]，极大地限制了它们的能力。幸运的是，这一挑战可能通过利用在领域增量学习（domain-IL）下工作的CGL技术来解决，该技术旨在连续跨多个不同领域训练给定的图学习模型。