2022年8月17-19日苏州（线上线下同步举办）
学术主任：黄萱菁教授复旦大学/邱锡鹏教授复旦大学
主办单位：中国计算机学会
本期ADL主题《大规模预训练模型及其应用》邀请到崔一鸣（资深科学奖，科大讯飞）、刘知远（教授,清华大学）、丁宁（博士生，清华大学）、刘鹏飞（博士后,卡耐基梅隆大学）、杨红霞（技术总监，阿里巴巴达摩院）、李磊（助理教授，加州大学圣巴巴拉分校）、侯璐（高级研究员，华为诺亚方舟实验室）、尹伊淳(高级研究员，华为诺亚方舟实验室）共8位专家做专题讲座。活动日程：
特邀报告1：面向自然语言理解的预训练模型
特邀讲者：崔一鸣，资深科学家，科大讯飞
特邀报告2：DeltaTuning：大模型的小参数高效微调
特邀讲者：刘知远，长聘副教授，清华大学；丁宁，博士生，清华大学
特邀讲者：刘鹏飞，博后，卡耐基梅隆大学
讲者简介：刘鹏飞博士，卡耐基梅隆大学语言技术研究所博士后，InspiredCognition科技公司联合创始人。在自然语言处理及人工智能领域的顶级会议发表学术论文50余篇，谷歌学术引用4000余次。曾连续获得ACL2021BestDemoPaper，ACL2022OutstandingDemoPaper奖项，以及上海市计算机学会优秀博士论文，人工智能学会优秀博士论文，百度奖学金，微软学者，AI华人青年学者等荣誉。担任顶级会议ACL，EMNLP，NeurIPS等领域主席以及卡耐基梅隆大学自然语言处理课程的联合讲师。领导开发了首个基于深度学习的高考英语AI系统，自动审稿机器人，AI系统可解释排行榜等开源产品，受到来自于DeepMind等公司的合作邀请，以及多名投资人的意向投资。
特邀报告4：超大规模多模态预训练模型建设与其产业化落地
报告摘要：近年来，随着预训练技术在深度学习领域的飞速发展，超大规模模型逐渐走进人们的视野，成为人工智能领域的焦点。继OpenAI推出1750亿参数的GPT-3模型之后，我们于自2021年初提出百亿参数的超大规模中文多模态预训练模型M6（Multi-ModalitytoMulti-ModalityMultitaskMega-transformer），在多项多模态和自然语言下游任务表现出突出的能力。作为业界最大的中文多模态预训练模型M6，我们持续推出多个版本，参数逐步从百亿规模扩展到十万亿规模，在大模型、绿色/低碳AI、AI商业化、服务化等诸多方面取得突破性进展，比如对比相同参数规模1750亿的GPT-3模型，我们只需要其1%的算力，绿色/低碳是大模型普及的必要条件。M6服务内部近50个部门并在阿里云对外200+产品中投入使用，被MITTechReview评为2021年度中国AI突破技术并重点推荐。
今年，在探索算力极限的同时，我们也积极展开了针对通用模型这一预训练技术“皇冠”的探索，提出业界首个通用的统一大模型（模态、任务和架构）M6-OFA，极大的降低模型在预训练、适配下游任务、推理过程中的难度，更加便捷的从在线模型构建、在线模型部署、应用发布的全流程预训练服务，能够支持成百上千个应用的开发与部署。同时随着移动芯片计算能力的指数级增长，智能移动设备在内容展示终端这一传统角色之外，逐渐承担起更多任务。如何充分利用好移动算力，我们也探索了一条大模型由云计算走向端计算，端云协同建模M6-Edge。
特邀讲者：杨红霞，技术总监，阿里巴巴达摩院
特邀报告5：机器翻译预训练方法
报告摘要：预训练已经成为自然语言处理中的重要方法。如何在神经网络机器翻译中利用预训练方法来提升翻译能力？直接将预训练好的BERT/GPT等语言模型应用于机器翻译很难获得预期效果。本次讲座将围绕单语预训练、多语言预训练、多模态预训练三个方面来介绍机器翻译中预训练方法研究最新进展。预训练在机器翻译中需要达到三个目标：设计有效优化目标适应翻译任务；充分利用大量单语上已有预训练模型；拉近跨语言跨任务跨模态表示。通过预训练和细调方法，在双语翻译，多语言联合翻译（包括zero-shot场景），语音翻译，图像辅助翻译等不同翻译场景都取得了显著成效。
特邀讲者：李磊，助理教授，加州大学圣巴巴拉分校
讲者简介：李磊博士，加州大学圣巴巴拉分校助理教授。本科毕业于上海交通大学计算机系（ACM班），博士毕业于卡耐基梅隆大学计算机系。曾获2012年美国计算机学会SIGKDD最佳博士论文第二名、2017年吴文俊人工智能技术发明二等奖、2017年CCF杰出演讲者、2019年CCF青竹奖、2021年ACL最佳论文奖。在机器学习、数据挖掘和自然语言处理领域于国际顶级学术会议发表论文100余篇，主导研发火山翻译和Xiaomingbot写稿机器人等产品。担任IEEETPAMI杂志编委和2017KDDCup、2018KDDHands-onTutorial、2019-2020KDDSponsorship联合主席,IJCAI2017、AAAI2019/2020，EMNLP2019-2022、AACL2020、NeurIPS2021/2022、KDD2022等大会领域主席。
特邀报告6：预训练语言模型的压缩和加速
报告摘要：基于Transformer的预训练语言模型在多种NLP下游任务上取得了SOTA的效果。本报告首先回顾语言模型的基本概念和最近几年业界典型的预训练语言模型以及它们的应用场景。巨大的参数量使得这些模型的训练和推理成本极高，阻碍了这些模型在边缘设备或云上的部署。本报告然后梳理近期预训练语言模型训练加速和推理压缩加速方法和优缺点，并重点介绍报告人在该研究领域的一些最新进展，包括使用知识蒸馏、动态网络、网络量化（包括量化训练、并行后量化以及生成模型的量化）和参数共享复用等对预训练语言模型进行极致压缩和加速的算法与落地情况。最后，本报告会展望未来的研究方向和一些思考。
特邀讲者：侯璐/尹伊淳，高级研究员，华为诺亚方舟实验室
讲者简介：侯璐，2019年于香港科技大学获得博士学位，目前在华为诺亚方舟实验室语音语义组担任高级研究员，从事NLP和多模态大模型预训练和压缩加速的研究和落地工作。已在ICML,NeurIPS,ICLR,EMNLP,ACL等机器学习和自然语言处理领域发表论文十余篇,并获得ACL2022杰出论文奖。
讲者简介：尹伊淳，2018年于北京大学获得博士学位。目前在华为诺亚方舟语音语义实验室担任高级研究员，主要从事高效预训练语言模型和神经符号的研究与落地。在ACL、EMNLP等自然语言处理会议上发表多篇论文，其中一篇是EMNLP2020引用次数最高的论文。
学术主任：
黄萱菁，教授，复旦大学
复旦大学教授，中文信息学会理事，中国计算机学会自然语言处理专委会副主任，计算语言学学会亚太分会执委，亚太信息检索学会指导委员会委员。主要从事人工智能、自然语言处理和信息检索等方向研究。近年来承担了国家重点研发计划课题、国家自然科学基金等多项研究。迄今在ACL、SIGIR、IJCAI、AAAI、ICML、EMNLP、NAACL、IEEETKDE、IEEE/ACMTASL等国际重要学术刊物和会议发表论文200余篇，被引11,000多次。曾获AI2000人工智能全球最具影响力提名学者、人工智能全球女性、福布斯中国科技女性、上海市育才奖、复旦大学“研究生心目中的好导师”等多项奖励。
邱锡鹏，教授，复旦大学
邱锡鹏，复旦大学计算机学院教授，国家优青获得者，主要从事自然语言处理、深度学习等方向的研究，发表CCFA/B类论文70余篇，获得ACL2017杰出论文奖（CCFA类）、CCL2019最佳论文奖、《中国科学：技术科学》2021年度高影响力论文奖，有5篇论文入选PaperDigest发布的ACL/EMNLP/NAACL/IJCAI会议的最有影响力论文（该会议每年所有发表论文中被引用数前10名的论文），主持开发了开源框架FudanNLP和FastNLP，已被国内外数百家单位使用。2015年入选首届中国科协青年人才托举工程，2018年获钱伟长中文信息处理科学技术奖青年创新奖，2020获第四届上海高校青年教师教学竞赛优等奖，2021年获首届上海市计算机学会教学成果奖一等奖（第一完成人）。培养学生多次获得一级学会优博、微软学者、百度奖学金等。
线下地址（疫情允许的情况下）：苏州市相城区高铁新城相融路600号CCF业务总部&会员活动中心
线上地址：报名交费成功后通过邮件发送。
报名须知：
1、报名费：CCF会员2800元，非会员3600元。食宿交通费用自理。根据交费先后顺序，会员优先的原则录取，额满为止。疫情期间，根据政府疫情防控政策随时调整举办形式（线上、线下）。