走近图计算,走进新未来 CNCC2021

今年CNCC技术论坛多达111个,无论从数量、质量还是覆盖,都开创了历史之最,将为参会者带来学术、技术、产业、教育、科普等方面的全方位体验。本文特别介绍【面向图计算的体系结构和系统软件】技术论坛,提前带你了解本论坛的专家、报告、会议日程等重要信息。

CNCC2021将汇聚国内外顶级专业力量、专家资源,为逾万名参会者呈上一场精彩宏大的专业盛宴。别缺席,等你来,欢迎参会报名!

CNCC2021参会报名

【面向图计算的体系结构和系统软件】技术论坛

论坛主席

张宇

华中科技大学

论坛共同主席

廖小飞

华中科技大学教授、博士生导师,国家杰出青年基金获得者,CCF分布式计算与系统专委会主任。主要从事大数据处理、系统软件、新型体系结构等研究工作。主持或参与多项863、重点研发计划、国家自然科学基金等项目(课题)。在重要期刊和会议上发表100余篇论文,获国家自然科学二等奖1项、国家科技进步二等奖1项、教育部技术发明一等奖2项、教育部自然科学一等奖1项,获2017年度CCF-IEEECS青年科学家奖。

论坛日程安排

主题

主讲嘉宾

单位及任职

13:00-13:24

理解和优化图神经网络系统性能

翟季冬

清华大学长聘副教授

13:24-13:48

单调图计算的模型与系统

张岩峰

东北大学教授

13:48-14:12

HETU:基于图计算的大规模嵌入模型训练系统

杨智

北京大学副研究员

14:12-14:36

基于GPU统一内存优化的图计算框架设计

李超

上海交通大学长聘副教授

14:36-15:00

大规模交互式子图模式挖掘与应用

钱正平

阿里巴巴达摩院资深技术专家

讲者介绍

清华大学计算机系长聘副教授

报告题目:理解和优化图神经网络系统性能

报告简介:图神经网络(GNN)因其在信息检索、推荐系统等领域的应用,最近引起了工业界和学术界的广泛兴趣。如何提高图神经网络系统的性能对许多应用来说至关重要。在这项工作中,我们对典型图神经网络系统的性能进行了深入研究,揭示了当前图神经网络系统存在的主要性能差距,特别是相比于传统图计算系统,图神经网络引入的特殊复杂性。针对发现的性能问题,我们提出一系列优化技术来填补这些差距。实验结果表明,在典型的GNN模型上,我们的优化技术能带来1.37倍-15.5倍的性能提升。

东北大学计算机科学与工程学院教授

嘉宾简介:张岩峰,东北大学计算机科学与工程学院教授,博士生导师,CCF数据库专委会委员。主要研究方向为并行与分布式系统。承担国家自然科学基金、辽宁省重点研发计划等多项国家和省部级科研项目,承担CCF-华为数据库创新研究计划、阿里巴巴达摩院创新研究计划等校企合作项目。在SIGMOD、VLDB、PPoPP、SOCC等计算机学会推荐A/B类期刊会议上发表论文20余篇。曾获云计算国际会议ACMSOCC优秀论文奖、辽宁省科技进步二等奖等奖励。

报告题目:单调图计算的模型与系统

报告简介:图计算的单调性是指在图的迭代计算过程中,顶点或边的状态值是单调更新的。借助于图计算的单调性,可以实现异步无协调的分布式计算,节点之间不需要协调等待,且能保证结果的收敛性和正确性。另外单调性对于增量计算也是非常好的特征,非常适合处理动态变化的大图数据。本报告介绍单调图计算的理论模型基础,图计算程序单调性的自动检验,以及非单调图算法到单调图算法的自动转换。并对近年来面向单调图计算的系统优化技术和分布式图计算系统进行总结汇报。

北京大学计算机科学技术系副研究员

嘉宾简介:杨智,北京大学计算机科学技术系副研究员。2005年本科毕业于哈尔滨工业大学,2010年博士毕业于北京大学(计算机系统结构)。主要研究兴趣为分布式系统,包括图计算系统、深度学习系统、资源和数据管理系统等,目前致力于深度学习模型的分布式并行、计算优化、系统设计方面的研究。已取得的成果包括第一个可以大规模执行的图神经网络系统NeuGraph,深度神经网络编译器Rammer等,目前在OSDI、ATC、SIGMOD、VLDB、KDD、SoCC等高水平国际学术会议上发表论文40余篇。获得过高校科学研究优秀成果奖、湖北省科技进步一等奖、中国电子学会科技进步一等奖。

报告题目:HETU:基于图计算的大规模嵌入模型训练系统

报告简介:嵌入表示模型(Embeddingmodels)已被认为是一种有效的学习高维数据的范式,能够将高维稀疏向量转化为低维稠密向量,广泛应用于推荐系统、图系统、自然语言处理系统。然而,模型的参数化表示导致巨大参数空间。我们发现已有的分布式训练框架在支持嵌入模型面临严重的可扩展性问题,更新和读取共享大规模嵌入参数的通信代价成为训练主要的瓶颈。本次报告将介绍HETU,一种用于大规模嵌入模型训练的高效分布式系统。该系统的独特之处在于从图计算的视角来设计和优化嵌入模型的训练效率。HETU提出异构图抽象来表示数据样本和嵌入向量之间的访问关系,提供了发掘模型参数访问的局部性和不规则性的优化机会。系统通过新的图切分算法,实现了大规模嵌入模型在GPU集群上的高效自动并行,并提出基于图的有边界一致性(BoundedStaleness)协议来进一步降低模型同步的通信开销。结果表明HETU能够支持10^11参数规模的嵌入模型训练,相比最先进的基线系统,HETU能够减少87.5%的通信开销和达到27.5倍的性能加速。

上海交通大学计算机科学与工程系长聘副教授,CCF体系结构专业委员会副主任

报告题目:基于GPU统一内存优化的图计算框架设计

报告简介:图提供了群体的一种抽象,可以描述丰富的对象和关系。GPU具有较好的并行度和内存带宽优势,被广泛应用于图计算加速。然而,由于图计算负载具有复杂性,基于GPU的异构图计算系统存在访存效率不高,资源利用率差等问题。本次将汇报我们在GPU图计算框架方面的研究,尤其是在GPU统一内存(UnifiedMemory)管理优化方面的设计思考。

阿里巴巴达摩院智能计算实验室资深技术专家

嘉宾简介:钱正平博士现任阿里巴巴达摩院智能计算实验室资深技术专家,他带领团队负责围绕阿里巴巴内外诸如图计算、机器学习等新兴应用的系统研发和商业解决方案构建。加入阿里之前,钱博士是微软亚洲研究院的主管研究员。他的研究兴趣是分布式计算,在OSDI、NSDI、EuroSys、VLDB等国际顶会发表多篇论文,并获得EuroSys2012最佳论文奖和VLBD2020最佳论文提名(Runner-up)奖;同时研究对应的大部分系统工作都被成功应用于阿里或微软大规模生产实践。钱博士2009年毕业于华南理工大学,获得计算机博士学位。

报告题目:大规模交互式子图模式挖掘与应用

报告简介:图模型可以自然表达数据间的复杂关联。诸如搜索推荐、安全风控和金融预测等很多重要领域都强依赖图计算技术和利用数据间的关联结构特征来增强大数据分析的效果,从而为用户提供更精准和可靠的信息。子图模式挖掘是一类重要的图计算方法,它允许领域专家直接探索图数据和挖掘具有可解释性和易于理解(和可视化)的特征和获得深入的数据洞察。本演讲将汇报真实子图模式应用驱动的两项研究工作,它们分别解决分布式模式挖掘计算效率问题和改进(经典)子图模式在需求表达上的不灵活性。同时我们也呼吁更多研究者和领域专家投入这个非常有前景的新兴图+AI应用方向。

CNCC2021将于10月28-30日在深圳举行,今年大会主题是“计算赋能加速数字化转型”。CNCC是计算领域学术界、产业界、教育界的年度盛会,宏观探讨技术发展趋势,今年预计参会人数将达到万人。每年特邀报告的座上嘉宾汇聚了院士、图领奖得主、国内外名校学者、名企领军人物、各领域极具影响力的业内专家,豪华的嘉宾阵容凸显着CNCC的顶级行业水准及业内影响力。

今年的特邀嘉宾包括ACM图灵奖获得者JohnHopcroft教授和BarbaraLiskov教授,南加州大学计算机科学系和空间研究所YolandaGil教授,陈维江、冯登国、郭光灿、孙凝晖、王怀民等多位院士,及众多深具业内影响力的专家。今年的技术论坛多达111个,无论从数量、质量还是覆盖,都开创了历史之最,将为参会者带来学术、技术、产业、教育、科普等方面的全方位体验。大会期间还将首次举办“会员之夜”大型主题狂欢活动,让参会者畅快交流。

THE END
1.图神经网络概述第三弹:来自IEEEFellow的GNN综述机器之心神经网络(GNN)热度持续上升,之前我们曾介绍了清华两篇综述论文,参见:深度学习时代的图模型,清华发文综述图网络,和清华大学图神经网络综述:模型与应用。最近,IEEE Fellow、Senior Member 和 Member Zonghan Wu 等人又贡献了一篇图神经网络综述文章。这篇文章介绍了 GNN 的背景知识、发展历史、分类与框架、应用等,详细介https://www.jiqizhixin.com/articles/2019-01-07-8
2.原创gnn图神经网络综述GNN图神经网络综述 什么是GNN GNN是Graph Neural Network的简称,是用于学习包含大量连接的图的联结主义模型。当信息在图的节点之间传播时GNN会捕捉到图的独立性。与标准神经网络不同的是,GNN会保持一种状态,这个状态可以代表来源于人为指定的深度上的信息。https://blog.csdn.net/qq_34911465/article/details/88524599
3.AI科普丨图神经网络(GNN)的完整总结!算法聚类编程大模型图神经网络由于其在处理非欧空间数据和复杂特征方面的优势,广泛应用在像推荐系统、知识图谱和交通道路分析。但是,图数据量大了以后,问题就来了,计算起来超级慢,内存也撑不住,而且分布式系统通信起来也很费劲。 在此,本文首先介绍了图神经网络如何传递信息,并阐述了常见的图神经网络模型及其在大数据下的挑战。文章总结https://dy.163.com/article/JGQFIUED0511PEBT.html
4.终于彻底理解图神经网络(GNNs)了!学习有关图神经网络的所有知识,包括 GNN 是什么,不同类型的图神经网络,以及它们的用途。此外,了解如何使用 PyTorch 构建图神经网络。目录什么是图?使用 NetworkX 创建图 为什么分析图很难? 什么是图神经网络(GNN)? 什么是图卷积网络(GCN)? 图神经网络如何工作?使用 PyTorch 构建图神经网络 GNN http://www.360doc.com/content/24/0309/18/99071_1116647067.shtml
5.图神经网络综述第47 卷第 4 期 Vol.47 No.4 ·热点与综述· 计算机工程 Computer Engineering 文章编号 :1 0 0 0-3 4 2 8(2 0 2 1)0 4-0 0 0 1-1 2 文献标志码 :A 2021 年 4 月 April 2021 中图分类号 :T P 1 8 图神经网络综述 王健宗,孔令炜,黄章成,肖京 (平安科技(深圳)有限公司 联邦学习技术https://www.ecice06.com/CN/article/downloadArticleFile.do?attachType=PDF&id=30944
6.图神经网络+强化学习客户点与仓库点组成了一个配送网络,车辆可以在此网络中移动从而完成配送任务。在求解此问题过程中,需要优化的决策变量为每个客户的配送任务应该分配到哪一辆车上,以及每辆车完成客户配送任务的先后顺序,优化目标为最小化车辆总行驶距离和使用的车辆数。 一、实验要求https://www.jianshu.com/p/e7ec17043414
7.基于时空建模的动态图卷积神经网络摘要为了使图表示学习得到的嵌入向量对节点和边不断变化的动态图具有很好的信息表征能力, 提出一种动态图卷积神经网络模型(DyGCN), 将动态图上的表示学习建模为时间和空间信息的聚合。该模型将从图卷积神经网络(GCN)的空间卷积提取图上的结构信息与从时间卷积神经网络(TCN)的因果卷积提取时序上的历史信息相结合, 同https://xbna.pku.edu.cn/fileup/0479-8023/HTML/2021-4-605.html
8.图网络存内计算研究获进展图神经网络(Graph Neural Network)是较新的深度学习技术,可用于处理更复杂的非结构化数据,广泛应用于社交网络、电子购物、药物预测、人机交互等应用场景。随着数据量的急速膨胀,亟待提升传统CMOS数字硬件系统中运行图神经网络的效率,同时,图神经网络的训练过程日趋复杂使得训练能耗居高不下。基于阻变忆阻器(RRAM)的存内https://www.cas.cn/syky/202302/t20230227_4875993.shtml
9.科学网—[转载]一种基于深度神经网络的临床记录ICD自动编码方法在这些工作中,Kipf T N等人提出了一种简化的图神经网络模型,即GCN,该模型在许多基准图数据集上达到了先进的水平。近期,图卷积神经网络还被用于文本分类任务中,Yao L等人提出了一种文本图卷积网络(Text-GCN),使用单词和文档的on-hot向量进行初始化,并联合学习单词和文档的表征,以提高文本分类的效果。Peng H等人https://blog.sciencenet.cn/blog-3472670-1280973.html
10.图卷积神经网络先验网络图卷积神经网络综述是可解释的,且本文从图卷积的角度提供了理论分析。 中的特征抽取对应于单个固定的过滤器。 发现 能够改善任务准确率,本文证明这个方法能够有效的缩小图的谱域,且应用在 上能够产生低通过滤器。 通过在基准数据集上的评估,展示了 能够与 及其他state-of-the-art图神经网络媲美。然而, https://blog.51cto.com/u_16213699/7652819
11.从图嵌入算法到图神经网络腾讯云开发者社区图时空网络(Graph Spatial-Temporal Network):旨在于时空图中学习模式 (pattern),应用在分类或是对未来特征的预测。 GNNPapers(https://github.com/thunlp/GNNPapers)详细列示了图神经网络诞生以来里程碑式的优秀模型,以及其在具体场景中的应用。 图卷积网络 https://www.cloud.tencent.com/developer/article/1617663