我们期待通过此次讲习班，帮助更多从业人士了解大模型内在运行机制，初步掌握大模型的使用方法，尝试从不同角度回答如何为大模型准备数据、如何开发和使用大模型、如何训练大模型、如何让大模型赋能应用等重要问题。
我们期待通过此次讲习班，能够启发企业工程师把握调制领域专属大模型的技术方法，帮助不同行业人员把握大模型时代契机，从研究基础、技术水平以及行业应用等不同层面从这一轮大模型潮流中获得赋能与发展。
现诚挚邀请广大算法从业者、爱好者朋友们参加！
“大模型开发与赋能”讲习班日程安排
大模型科普讲解
课程介绍
讲座摘要：
课程旨在帮助学员理解和掌握大规模深度学习模型，如GPT等的基础知识和应用方法。课程将通过深入浅出的方式，科普深度学习、自然语言处理、神经网络等基础概念，让学员理解这些大模型的工作原理、训练方法和应用领域。此外，课程还将探讨这些模型的优点、限制以及未来发展趋势。通过本课程，学员将了解到大模型如何改变了我们的生活，并学习如何利用这些工具来解决实际问题。同时，我们将引导学员探索和思考大模型的潜在影响，以及如何在应用大模型时兼顾道德和可持续性的问题。
讲座大纲：
1.引言
1.1人工智能、机器学习和深度学习的基础知识
1.2大模型的概述和历史发展
2.深度学习基础
2.1神经网络及其工作原理
2.3神经网络优化算法
3.自然语言处理与语言模型
3.1自然语言处理简介
3.2语言模型
4.Transformer和自注意力机制
4.1Transformer模型介绍
4.2自注意力机制的原理
5.大模型介绍
5.1大语言模型原理
5.2多模态大模型
5.3大模型的实际应用示例
6.大模型的优点和局限性
6.1大模型的优势和贡献
6.2大模型的挑战和限制
7.大模型的未来
7.1未来的趋势和展望
7.2可持续性和道德考量
主讲人介绍
邱锡鹏
复旦大学教授
邱锡鹏，复旦大学计算机学院教授，担任中国中文信息学会理事、上海市计算机学会自然语言处理专委会主任等，主要研究方向为自然语言处理基础技术和基础模型，发表CCFA/B类论文80余篇，被引用1万余次，入选“爱思唯尔2022中国高被引学者”。获得ACL2017杰出论文奖（CCFA类）、CCL2019最佳论文奖、《中国科学：技术科学》2021年度高影响力论文奖，有5篇论文入选ACL/EMNLP等会议的最有影响力论文，主持开发了开源框架FudanNLP和FastNLP，已被国内外数百家单位使用，发布了MOSS、CPT、BART-Chinese等中文预训练模型，在中文模型中下载量排名前列。曾获中国科协青年人才托举工程项目、国家优青项目、科技创新2030“新一代人工智能”重大项目课题等，2020年获第四届上海高校青年教师教学竞赛优等奖，2021年获首届上海市计算机学会教学成果奖一等奖（第一完成人），2022年获钱伟长中文信息处理科学技术奖一等奖（第一完成人）。
ChatGPT机理阐析
课程将向学员阐述如何开发大模型从而获得深入理解其内在机理。我们将涵盖从准备数据，预处理，模型架构，训练，微调，到后处理和评估的全过程。这门课程不仅将聚焦在ChatGPT的原理和开发过程，同时也会涉及到一些更高级的主题，如如何调优模型以适应特定任务。这门课程的目标是让学员掌握深度学习模型ChatGPT的开发，并理解它在各种实际应用中的表现和可能的影响。
课程大纲：
1.引言：ChatGPT的历史和应用
1.1ChatGPT的历史和演变
1.2ChatGPT的应用范围及其影响
2.模型架构和原理
2.1理解Transformer架构
2.2GPT的特性和优势
2.3GPT的潜在限制和挑战
3.数据准备和预处理
3.1选择和获取适合的训练数据
3.2数据清洗和预处理
3.3用于训练ChatGPT的特定数据格式
4.训练和微调
4.1理解训练过程中的损失函数和优化器
4.2使用GPU和分布式训练
4.3模型微调的技术和策略
5.后处理和评估
5.1生成和解码策略（如Greedy,BeamSearch,Top-K,Top-P等）
5.2评估ChatGPT模型的技术和指标
6.调优和任务适应
6.1如何调优模型以适应特定任务
6.2理解和应用迁移学习
6.3用于特定任务的微调策略
扩散概率模型的前沿进展
AIGC发展迅速，扩散概率模型是AIGC的关键技术之一，在跨模态的文图生成、3D生成等方面取得显著进展。该报告将介绍扩散概率模型的若干进展，包括扩散概率模型的基础理论和高效算法、大规模多模态扩散模型以及文到3D生成等内容。
朱军
清华大学教授
朱军，清华大学计算机系BoschAI教授、IEEEFellow，清华大学人工智能研究院副院长，曾任卡内基梅隆大学兼职教授。2001-2009年获清华大学学士和博士学位，主要从事机器学习研究，担任国际著名期刊IEEETPAMI的副主编，担任ICML、NeurIPS、ICLR等资深领域主席和最佳论文评审委员20余次。获中国科协求是杰出青年奖、科学探索奖、中国计算机学会自然科学一等奖、吴文俊人工智能自然科学一等奖、ICLR国际会议杰出论文奖等，入选万人计划领军人才、中国计算机学会青年科学家、MITTR35中国先锋者等。
基于SLeM框架的数据筛选方法
现有深度学习方法的有效性依赖于对训练数据集的高质量要求，当训练集呈现蕴含复杂标记噪声、类别不均衡等数据偏差问题时，其有效性往往不能得以保证，这被称之为深度学习的鲁棒性学习问题。这一问题已经严重制约了深度学习在现实场景中的有效应用，是领域亟需面对的瓶颈问题。
本次讲座针对样本筛选这一类典型的处理数据偏差的方法论展开讨论，介绍该方法论从针对少量数据偏差类型的传统手工赋权设定方法，如何演进到更为前沿的大模型背景下针对更多数据偏差类型的自动化赋权方法。特别地，将深入讨论在该方法论背后蕴含的元学习思想本质，挖掘其有效性理论内涵，从而揭示其可能对现实场景中复杂鲁棒深度学习问题的潜在泛化可用性。
孟德宇
西安交通大学教授
孟德宇，西安交通大学数学与统计学院教授，博士生导师，聚焦于机器学习基础理论与算法研究。曾获陕西省科学技术一等奖(第一获奖人)，陕西省青年科技奖，入选长江学者特聘教授，中组部青年拔尖人才计划。发表IEEE汇刊论文40余篇，计算机学会A类会议40余篇，任IEEETrans，PAMI，NationalScienceReview，ScienceChina:InformationSciences等7个国内外期刊编委。
面向大模型的分布式优化算法
大模型的训练（也叫学习）面临极大的算力挑战。大模型的训练大都采用基于多机多卡的分布式优化算法（大模型联邦学习可以看成是面向物理分散数据的分布式优化）。分布式优化算法决定了算力利用率。低效分布式优化算法将导致较低的算力利用率，甚至可能导致机器和卡越多、训练速度越慢的结果。高效分布式优化算法能提升算力利用率，将为学术界（算力资源相对受限）研究大模型提供关键支撑，也将为工业界大模型应用的降本增效提供核心技术。
本报告将介绍大模型训练中（包括大模型联邦学习中）的高效分布式优化算法，包括业内主流算法和我们研究组最近提出的算法。
李武军
南京大学教授
论文被50余位国内外科学院/工程院院士和200余位AAAI/ACM/IEEEFellow引用。研究成果被国际著名学者评价为“首个方法”和“先进水平”，并被应用于国家重要部门、头部互联网企业、大型央企和医院。主持国家重点研发计划课题、国家自然科学基金等项目。参与研发阿里巴巴云计算平台（“飞天”），并作为三位作者之一参与编写关于“飞天”的第一本专著。指导的学生获得华为天才少年、阿里星（每年阿里巴巴集团10名左右获得者）、百度奖学金（每年全球共10名获得者）、阿里巴巴全球数学竞赛金牌（年度全球第一）、“互联网+”大学生创新创业大赛金奖和最佳创意奖等荣誉。
药物发现大模型的构建与应用
CanweleveragealargeamountofunsuperviseddatamodelstoacceleratetargetdiscoveryanddrugdesignInthistalk,IwillintroducethexTrimofamilyoflargescaleandinterrelatedpretrainedmodelsacrossamultiscaleofbiologicalprocesses,integratingahugeamountofdatafromproteinsequences,structures,protein-proteininteractionsandsingle-celltranscriptomicsdata.
Thepretrainedmodelscanbeuseddownstreamtoaddressmanyproblemsarisingfromtargetdiscoveryanddrugdesign.Asconcreteexamples,IwillshowthatxTrimomodelsareachievingSOTAindrugtargetcombinationpredictionsandantigen-antibodycomplexstructurepredictions.
宋乐
百图生科首席AI科学家
商汤AI代码助手：大模型引领软件研发新范式
人工智能大模型的出现，将形成软件开发的新范式。在大模型时代，未来软件的价值将有80%由人工智能大模型提供，20%的比例会由“提示工程”（Promptengineering）和传统业务开发组成。
商汤AI代码助手，是商汤基于NLP大模型研发的AI辅助软件开发产品。通过人工智能大模型与用户反馈闭环的结合，基于人工智能大模型的下一代软件，也会“越用越智能”。
曹阳
商汤科技SenseCore负责人
云原生向量数据库:挑战与机遇
在云计算时代，云原生分布式数据库因其弹性扩展、高可用、分布式等特性而获得了大量应用。数据库系统在快速的向云原生化、平台化、一体化、智能化的四化方向演进。随着大模型的快速发展和应用，海量向量数据的高效处理成为一个核心挑战，在面向retrievalplugin、私域数据(知识库)embedding等方向上有广阔的应用。
如何提供一站式一体化的向量数据库能力，提供多维度融合智能查询和搜索面临很多关键挑战和机遇。报告将介绍云原生向量数据库的关键技术和进展，以及云原生数据系统和大模型结合的展望。
李飞飞
阿里巴巴阿里云数据库负责人
李飞飞，ACMFellow,CCFFellow,IEEEFellow。阿里云数据库产品事业部负责人。曾获ACMSIGMOD2023最佳论文奖，EDBT2022Test-of-TimeAward，IEEEICDCS2020最佳论文奖，ACMSoCC2019最佳论文奖runnerup，IEEEICDE2014十年最有影响力论文奖，ACMSIGMOD2016最佳论文奖、ACMSIGMOD2015最佳系统演示奖、世界互联网大会2019全球领先科技成果奖、浙江省科技进步一等奖、中国电子学会科技进步一等奖等。担任多个国际及国内一流学术期刊和学术会议的编委、主席，中国计算机学会CCF大数据专家委员会副主任，数据库专业委员会常委。带领团队研发了以云原生数据库PolarDB为核心的云数据库系统，实现了中国数据库市场份额第一，作为国内唯一数据库厂商连续3次进入Gartner全球云数据库市场分析报告领导者象限。
视觉基础大模型
Inthistutorial,wedelvedeepintotheburgeoningfieldofVisionFoundationModels,exploringtheunderlyingarchitec-ture,innovativepre-trainingstrategies,andtheintegrationofvision-languagemulti-modalmodels.
Thiseducationaljourneybeginswithanin-depthexaminationofimagebackbonenetworks,thestructuralpillarformanyimageanalysisalgorithms.ParticipantswillgainacomprehensiveunderstandingofthedesignandoperationsofbackbonearchitectureslikeConvolutionalNeuralNetworksandVisionTransformers.
Thecoursethentransitionstotheheartofmodelrepresentationlearning–pre-trainingtechniques.Wewillguideattendeesthroughthevastlandscapeofpre-trainingstrategiesthatarebeingleveragedtoimprovemodelgeneralizationandperformanceonvisiontasks.Thisincludesdiscussiononmethodssuchassupervised,unsupervised,andself-supervisedlearning,aswellastheimportanceoflarge-scaledatasetsinpre-training.
Thetutorialculminatesinanexplorationofthestate-of-the-artinvision-languagemulti-modalmodels.Asanexcitingdomainthatfusesvisionandnaturallanguageprocessing,wewillilluminatehowmodelslikeVL-BERT,CLIP,andGPT-4arepavingthewaytowardsholisticunderstandingofthevisualandlinguisticworld.Attendeeswillgaininsightsintothedesignandapplicationofthesemodels,andunderstandhowtheyarepushingtheboundariesintaskssuchasimagecaptioning,visualquestionanswering,andmore.
Joinusinthisjourneyasweendeavortocreateabrighterfutureforcomputervision,afuturethatunderstandsnotjustpixels,butcontextandsemantics.
代季峰
会议组织
讲习班召集人
西安交通大学，琶洲实验室（黄埔）：徐宗本院士
程序委员会
琶洲实验室（黄埔）：马建华教授
琶洲实验室（黄埔）：张海教授
清华大学：朱军教授
复旦大学：邱锡鹏教授
西安交通大学：孟德宇教授
主办单位
琶洲实验室（黄埔）/鹏城实验室广州基地（筹）
支持单位
CSIAM大数据与人工智能专委会
全国大数据专委会
中国计算机学会
中国人工智能学会等
协办单位
广州数桥科技服务有限公司
会议注册
1.线下参会
好消息：线下参会免费了！名额有限仅限150人，点击下方链接获取线下参会报名表