图神经网络将深度学习的预测能力应用于丰富的数据结构中,这些数据结构将物体及其对应关系描述为图中用线连成的点。
图神经网络能做什么
许多科学和工业领域的知识都可以用图来表达
谁在使用图神经网络?
亚马逊在2017年表示正在使用GNN来检测欺诈。2020年,亚马逊推出了供外部用户用于欺诈检测、推荐系统等应用的公共GNN服务。
葛兰素史克AI全球负责人KimBranson在GNN研讨会的某场小组讨论会上表示,生物制药公司葛兰素史克维护着拥有近5000亿个节点的知识图谱,该图谱被用于该公司的许多机器语言模型中。
GNN如何工作?
到目前为止,深度学习主要集中在图像和文本上。这两种结构化数据可以被描述为单词序列或像素网格。相比之下,图是非结构化的,因此可以是任何形状或尺寸,并包含图像、文本等任何类型的数据。
GNN使用被称为信息传递的流程将图组织起来,以便机器学习算法的使用。
信息传递将关于邻近节点的信息嵌入到每个节点中。AI模型利用嵌入的信息来寻找规律并进行预测。
三类GNN中的数据流示例
例如,推荐系统使用将节点嵌入GNN的方式来匹配客户和产品;欺诈检测系统使用边缘嵌入来发现可疑交易;药物发现模型通过比较整个分子图来找出它们之间的反应。
GNN还有两个独特之处:它们使用稀疏数学,而且模型通常只有两到三层。其他AI模型通常使用密集数学并且有数百个神经网络层。
GNN流程在输入图后输出预测
GNN的发展史
意大利研究人员在2009年发表的论文中首次将这种神经网络命名为“图神经网络”。但直到八年之后,阿姆斯特丹的两位研究人员才使用被称为“图卷积网络”(GCN)的图神经网络变体展示了这种神经网络的力量。GCN也是当今最流行的GNN之一。
GraphSage开创了在GNN中传递信息的强大聚合技术
他们所创建的PinSage是包含30亿节点和180亿边的推荐系统,这超过了当时的其他AI模型。
如今,Pinterest将PinSage应用于整个公司的100多个用例。该公司高级机器学习工程师AndrewZhai于在线座谈会上表示:“没有GNN,Pinterest就不会有今天的吸引力。”
GNN变体家族树概览图
扩展图神经网络
展望未来,GNN需要进行全方位的扩展。
还未维护图数据库的企业机构需要使用工具来减轻创建这些复杂数据结构的工作负担。
Eaton表示:“我们正在提供各种产品来最大程度地提高加速系统的内存、计算带宽与吞吐量,以便解决此类数据加载和扩展问题。”
作为这项工作的内容之一,NVIDIA在GTC上宣布,除了深度图库(DGL)之外,公司现在还支持PyTorchGeometric(PyG)。这是当下最流行的两个GNN软件框架。
NVIDIA提供多种工具加快GNN的构建
经过NVIDIA优化的DGL和PyG容器针对NVIDIAGPU进行了性能调整和测试。它们为开始使用GNN开发应用的人提供了方便的平台。