ADL129《大规模预训练模型及其应用》开始报名线上线下同步开启

2022年8月17-19日苏州(线上线下同步举办)

学术主任:黄萱菁教授复旦大学/邱锡鹏教授复旦大学

主办单位:中国计算机学会

本期ADL主题《大规模预训练模型及其应用》邀请到崔一鸣(资深科学奖,科大讯飞)、刘知远(教授,清华大学)、丁宁(博士生,清华大学)、刘鹏飞(博士后,卡耐基梅隆大学)、杨红霞(技术总监,阿里巴巴达摩院)、李磊(助理教授,加州大学圣巴巴拉分校)、侯璐(高级研究员,华为诺亚方舟实验室)、尹伊淳(高级研究员,华为诺亚方舟实验室)共8位专家做专题讲座。活动日程:

特邀报告1:面向自然语言理解的预训练模型

特邀讲者:崔一鸣,资深科学家,科大讯飞

特邀报告2:DeltaTuning:大模型的小参数高效微调

特邀讲者:刘知远,长聘副教授,清华大学;丁宁,博士生,清华大学

特邀讲者:刘鹏飞,博后,卡耐基梅隆大学

讲者简介:刘鹏飞博士,卡耐基梅隆大学语言技术研究所博士后,InspiredCognition科技公司联合创始人。在自然语言处理及人工智能领域的顶级会议发表学术论文50余篇,谷歌学术引用4000余次。曾连续获得ACL2021BestDemoPaper,ACL2022OutstandingDemoPaper奖项,以及上海市计算机学会优秀博士论文,人工智能学会优秀博士论文,百度奖学金,微软学者,AI华人青年学者等荣誉。担任顶级会议ACL,EMNLP,NeurIPS等领域主席以及卡耐基梅隆大学自然语言处理课程的联合讲师。领导开发了首个基于深度学习的高考英语AI系统,自动审稿机器人,AI系统可解释排行榜等开源产品,受到来自于DeepMind等公司的合作邀请,以及多名投资人的意向投资。

特邀报告4:超大规模多模态预训练模型建设与其产业化落地

报告摘要:近年来,随着预训练技术在深度学习领域的飞速发展,超大规模模型逐渐走进人们的视野,成为人工智能领域的焦点。继OpenAI推出1750亿参数的GPT-3模型之后,我们于自2021年初提出百亿参数的超大规模中文多模态预训练模型M6(Multi-ModalitytoMulti-ModalityMultitaskMega-transformer),在多项多模态和自然语言下游任务表现出突出的能力。作为业界最大的中文多模态预训练模型M6,我们持续推出多个版本,参数逐步从百亿规模扩展到十万亿规模,在大模型、绿色/低碳AI、AI商业化、服务化等诸多方面取得突破性进展,比如对比相同参数规模1750亿的GPT-3模型,我们只需要其1%的算力,绿色/低碳是大模型普及的必要条件。M6服务内部近50个部门并在阿里云对外200+产品中投入使用,被MITTechReview评为2021年度中国AI突破技术并重点推荐。

今年,在探索算力极限的同时,我们也积极展开了针对通用模型这一预训练技术“皇冠”的探索,提出业界首个通用的统一大模型(模态、任务和架构)M6-OFA,极大的降低模型在预训练、适配下游任务、推理过程中的难度,更加便捷的从在线模型构建、在线模型部署、应用发布的全流程预训练服务,能够支持成百上千个应用的开发与部署。同时随着移动芯片计算能力的指数级增长,智能移动设备在内容展示终端这一传统角色之外,逐渐承担起更多任务。如何充分利用好移动算力,我们也探索了一条大模型由云计算走向端计算,端云协同建模M6-Edge。

特邀讲者:杨红霞,技术总监,阿里巴巴达摩院

特邀报告5:机器翻译预训练方法

报告摘要:预训练已经成为自然语言处理中的重要方法。如何在神经网络机器翻译中利用预训练方法来提升翻译能力?直接将预训练好的BERT/GPT等语言模型应用于机器翻译很难获得预期效果。本次讲座将围绕单语预训练、多语言预训练、多模态预训练三个方面来介绍机器翻译中预训练方法研究最新进展。预训练在机器翻译中需要达到三个目标:设计有效优化目标适应翻译任务;充分利用大量单语上已有预训练模型;拉近跨语言跨任务跨模态表示。通过预训练和细调方法,在双语翻译,多语言联合翻译(包括zero-shot场景),语音翻译,图像辅助翻译等不同翻译场景都取得了显著成效。

特邀讲者:李磊,助理教授,加州大学圣巴巴拉分校

讲者简介:李磊博士,加州大学圣巴巴拉分校助理教授。本科毕业于上海交通大学计算机系(ACM班),博士毕业于卡耐基梅隆大学计算机系。曾获2012年美国计算机学会SIGKDD最佳博士论文第二名、2017年吴文俊人工智能技术发明二等奖、2017年CCF杰出演讲者、2019年CCF青竹奖、2021年ACL最佳论文奖。在机器学习、数据挖掘和自然语言处理领域于国际顶级学术会议发表论文100余篇,主导研发火山翻译和Xiaomingbot写稿机器人等产品。担任IEEETPAMI杂志编委和2017KDDCup、2018KDDHands-onTutorial、2019-2020KDDSponsorship联合主席,IJCAI2017、AAAI2019/2020,EMNLP2019-2022、AACL2020、NeurIPS2021/2022、KDD2022等大会领域主席。

特邀报告6:预训练语言模型的压缩和加速

报告摘要:基于Transformer的预训练语言模型在多种NLP下游任务上取得了SOTA的效果。本报告首先回顾语言模型的基本概念和最近几年业界典型的预训练语言模型以及它们的应用场景。巨大的参数量使得这些模型的训练和推理成本极高,阻碍了这些模型在边缘设备或云上的部署。本报告然后梳理近期预训练语言模型训练加速和推理压缩加速方法和优缺点,并重点介绍报告人在该研究领域的一些最新进展,包括使用知识蒸馏、动态网络、网络量化(包括量化训练、并行后量化以及生成模型的量化)和参数共享复用等对预训练语言模型进行极致压缩和加速的算法与落地情况。最后,本报告会展望未来的研究方向和一些思考。

特邀讲者:侯璐/尹伊淳,高级研究员,华为诺亚方舟实验室

讲者简介:侯璐,2019年于香港科技大学获得博士学位,目前在华为诺亚方舟实验室语音语义组担任高级研究员,从事NLP和多模态大模型预训练和压缩加速的研究和落地工作。已在ICML,NeurIPS,ICLR,EMNLP,ACL等机器学习和自然语言处理领域发表论文十余篇,并获得ACL2022杰出论文奖。

讲者简介:尹伊淳,2018年于北京大学获得博士学位。目前在华为诺亚方舟语音语义实验室担任高级研究员,主要从事高效预训练语言模型和神经符号的研究与落地。在ACL、EMNLP等自然语言处理会议上发表多篇论文,其中一篇是EMNLP2020引用次数最高的论文。

学术主任:

黄萱菁,教授,复旦大学

复旦大学教授,中文信息学会理事,中国计算机学会自然语言处理专委会副主任,计算语言学学会亚太分会执委,亚太信息检索学会指导委员会委员。主要从事人工智能、自然语言处理和信息检索等方向研究。近年来承担了国家重点研发计划课题、国家自然科学基金等多项研究。迄今在ACL、SIGIR、IJCAI、AAAI、ICML、EMNLP、NAACL、IEEETKDE、IEEE/ACMTASL等国际重要学术刊物和会议发表论文200余篇,被引11,000多次。曾获AI2000人工智能全球最具影响力提名学者、人工智能全球女性、福布斯中国科技女性、上海市育才奖、复旦大学“研究生心目中的好导师”等多项奖励。

邱锡鹏,教授,复旦大学

邱锡鹏,复旦大学计算机学院教授,国家优青获得者,主要从事自然语言处理、深度学习等方向的研究,发表CCFA/B类论文70余篇,获得ACL2017杰出论文奖(CCFA类)、CCL2019最佳论文奖、《中国科学:技术科学》2021年度高影响力论文奖,有5篇论文入选PaperDigest发布的ACL/EMNLP/NAACL/IJCAI会议的最有影响力论文(该会议每年所有发表论文中被引用数前10名的论文),主持开发了开源框架FudanNLP和FastNLP,已被国内外数百家单位使用。2015年入选首届中国科协青年人才托举工程,2018年获钱伟长中文信息处理科学技术奖青年创新奖,2020获第四届上海高校青年教师教学竞赛优等奖,2021年获首届上海市计算机学会教学成果奖一等奖(第一完成人)。培养学生多次获得一级学会优博、微软学者、百度奖学金等。

线下地址(疫情允许的情况下):苏州市相城区高铁新城相融路600号CCF业务总部&会员活动中心

线上地址:报名交费成功后通过邮件发送。

报名须知:

1、报名费:CCF会员2800元,非会员3600元。食宿交通费用自理。根据交费先后顺序,会员优先的原则录取,额满为止。疫情期间,根据政府疫情防控政策随时调整举办形式(线上、线下)。

THE END
1.培训机构使用在线学习平台有什么优势综上所述,培训机构使用在线学习平台具有诸多优势,不仅提升了教学灵活性和资源利用效率,降低了成本,还促进了个性化学习、学习跟踪与反馈、市场拓展以及社会影响的提升。随着技术的不断进步和教育理念的不断革新,在线学习平台将成为未来教育体系中不可或缺的一部分,为培训机构和学员带来更加广阔的发展前景。因此,培训机构应https://zhuanlan.zhihu.com/p/13303671150
2.什么是混合式教学?混合式教学模式有什么优缺点?混合式教学模式有什么优缺点? 混合式教学(Blending Learning)就是要把传统学习方式的优势和e-Learning (即数字化或网络化学习)的优势结合起来,二者优势互补,从而获得更佳的教学效果。换句话说,混合式教学可以充分发挥教师和学生的自主性,更能充分体现学生作为学习过程主体的主动性、积极性与创造性。https://wbg.do1.com.cn/xueyuan/12863.html
3.线上教育与线下教育分别有什么优缺点?线上教育主要是通过互联网在网上进行教学,其媒介是手机或者电脑等数码电子产品。线下教育是主要是在一定的空间里老师和学生进行的互动教学。那么,这两者之间分别有什么优缺点呢?下面来介绍一下。 一、线上教育的优势 1、无时间空间限制 在线教育与传统教育最大的区别在于:不受线下学习条件、环境的限制,可随时随地http://www.gaoweifuwu.com/pch5/article.php?id=1447
4.线上线下混合式教学模式:优缺点分析改进建议和实践探索线上线下混合式教学模式在教育领域的应用日益广泛,它融合了传统面对面教学和现代在线教育的优点,为学生和教育者提供了更灵活、多样化的学习和教育体验。 本文将探讨线上线下混合式教学模式的优点、挑战以及改进建议,同时通过实践探索和案例分享,展示这一教学模式的实际应用和价值。 https://content.edusoho.com/detail/139
5.专升本线上课程与线下课程优缺点对比? 缺点 1 需要前往教学点:需要花费时间和精力去上课。 2 缺课难补:因个人原因缺课,后续需要自己找机会补上。 3 性格影响:因个人性格问题未能及时提问,可能影响后续听课。 如果您正在考虑专升本,可以根据自己的需求和情况选择适合的学习方式。无论选择线上还是线下,都需要保持积极的学习https://mbd.baidu.com/newspage/data/dtlandingsuper?nid=dt_5176758511478943968
6.考研网课和线下课的优缺点线上教育和线下教育的区别和优势线上授课跟线下授课各自的优缺点有哪些呢? 学生在网络背景下的学习恰如其分地体现了建构主义的上述观点。学生在网络背景下的这种自主性和探究性学习使他们的学习具有了传统学习无可比拟的优点。第1,当学生面对计算机时,他所产生的第1感觉就是:我将要用它来学习了,我必须自己干了。这实际上是促使学生确立自己在学习https://sy.xhd.cn/ksjq/tj/888046.html
7.线上教学的优缺点是什么?前几年,由于种种原因,线上教学方式得到极大地普及,上网课一度成为各大中小学及高校的常态,在此期间,线上教学平台也获得了极大的发展。如今,线下教学回归正常,那么线上教学是否还有存在的必要,这要从线上教学是是否还有需求及线上教学的优缺点进行全面分析,本文将结合博思白板boardmix来为大家分析线上教学的优缺点及https://boardmix.cn/article/onlineteachinganalysis/
8.线上线下融合教学的优势不足与发展策略内容这种全新的学习模式不仅可以实现教师的学习目标,而且可以满足学生的学习需求,激发学生的学习兴趣,在良好的学习氛围中提高学习效果。然而,线上与线下这两种教学方式各有优点和缺点,这两种方式是不能完全替代的,有一定的互补性。笔者在分析两种教学方式优缺点的基础上,从不同的层面对深化两种教学方式的融合进行了思考。https://tpd.xhedu.sh.cn/cms/app/info/doc/index.php/92024
9.线上教学平台运行总结(通用15篇)四年级开展的线上教学,包括了课文学习、传统文化《论语》学习、《诗词吟诵》背诵、课外阅读和练字五大内容。注重人文性和语文素养提升的.教学设计、精彩丰富的教学内容和灵活多变的教学形式,让学生们获得了良好的学习和认知体验,增进了知识,习得了能力。 五年级的孩子们即使在居家学习的情况下,对经典文化的学习热情也https://m.oh100.com/kaoshi/jiaoxuezongjie/646722.html