2、成功召开。北京智源大会定位于“AI内行顶级盛会”，今年为第三届，线上线下同步召开，线下会场在北京中关村国家自主创新示范区会议中心。本届大会邀请到图灵奖得主约书亚本吉奥（YoshuaBengio）、大卫帕特森（DavidPatterson），欧洲大脑奖得主彼得达扬（PeterDayan）等200余位国内外人工智能领域顶尖专家参会，设置“预训练模型”“青源学术年会”“AI创业”等29个专题论坛。本届大会参会人员国际覆盖面为历届之最，共有8千人现场参会，线上7万人参加，参会人员覆盖我国各省份，以及海外76个国家和地区，充分体现了大会的国际影响力和国际多元性。在本届大会上，智源研究院围绕创新研究
3、、学术生态、产业发展等方面，发布了一系列重大成果及计划，充分体现了智源研究院打造人工智能学术和技术创新生态工作的卓越成效。6月1日，发布了全球最大的超大规模智能模型“悟道2.0”，推动打造我国人工智能战略基础设施。6月2日，发布成立了AI青年科学家俱乐部“青源会”，促进海内外的AI青年科研人员“开心探索智能本质”；发布支持AI创业的“源创计划”，加速从AI源头创新到源头创业的实现路径。6月3日，智源研究院与美国艾伦人工智能研究院、巴西C4AI人工智能中心等国际知名AI科研院所达成合作意向，将探索共同开展超大规模智能模型建设及其它前沿科研项目的可能性；举行签约仪式，专注于AI开放与共享的AIO
4、pen期刊，未来将依托智源社区，进一步打造成为开放、协作的新一代学术交流平台。本届大会，国际顶尖专家围绕人工智能学术前沿和产业热点开展深入研讨，为参会人员贡献了一场丰盛的“AI学术盛宴”。智源研究院整理了大会专家的主要观点，供各界人士参考。目录CONTENTSP2P4P9P19P21P22P30P36P40P44P46P48P51P53P55P57P582021北京智源大会主要观点智源研究进展智源发布大规模预训练模型“悟道2.0”智源发布青年科学家俱乐部“青源会”智源发布创业支持项目“源创计划”全体大会人工智能的数理基础论坛智能体系架构与芯片论坛预训练模型论坛AI科技女性论坛AI人才培养论坛
5、科学智能论坛智能信息检索与挖掘论坛机器学习论坛决策智能科学场景暨滴滴决策智能仿真开放平台产业画像和精准治理中的AI创新应用论坛群体智能论坛P60P72P74P77P79P84P87P90P95P98P99P102P105P107P111P113P116P120P123P124青源学术年会人工智能伦理、治理与可持续发展论坛人工智能的认知神经基础论坛精准智能论坛认知智能论坛AI赋能生命健康与生物医药论坛AI创业论坛工业智能论坛强化学习与决策智能论坛国际AI研究机构论坛自然语言处理论坛人工智能与社会经济论坛AI交通论坛AI安全与产业治理论坛AI制药论坛AI开放与共享论坛AI系统论坛视觉大模型论坛智源
7、响，将推动工业界变革；强化学习仍在起步阶段，在解决实际问题方面仍有很长的路要走；模拟仿真环境是实现决策智能的重要条件，我国在模拟仿真方面存在明显短板。十二、群体智能发展迅速、形态多样，可提高决策的智能化，联邦学习是打破数据孤岛的关键技术群体智能包含多种形态，时空数据研究成为近年来的热点领域；群体智能可应用在共享出行、物流领域，使决策更智能；联邦学习技术是打破数据孤岛，拓展数据疆界的关键技术。十三、加快高层次的国际学术交流与合作，推动全球人工智能前沿研究发展“知识无国界”，智源研究院与多家国际知名人工智能研究机构达成合作共识，营造多元开放的学术生态；智源研究院推出AIOpen期刊，推动
9、练模型提供关键支撑多模态技术成为自然语言处理重要方向，将助力机器翻译和对话系统应用落地；构建多语言、多任务的基准测评标准，将进一步推动国际中文自然语言处理技术的发展；AI模型创新依赖于机器学习系统的快速迭代，自动优化成为AI系统发展新趋势；深度学习框架是大规模预训练模型运行的关键支撑，分布式成为新一代框架发展的重要特点。十七、AI技术深度赋能生命健康、交通、工业等领域，推动传统行业智能化升级人工智能有切入制药领域的天然逻辑，但并非“无所不能”；人工智能与生命科学需要“破壁”，智能科学计算将在生物学世界“遍地开花”；促进车路数据的互联互通，是推动交通系统智能化、发展中国自动驾驶的重要基础；工
10、业智能可按照不同技术层次逐步实现，最终完成价值落地的业务闭环。十八、人工智能对经济社会发展产生深刻影响，AI数据与安全治理迫在眉睫人工智能对经济、就业等社会经济多方面会产生深刻的影响；数据安全对人工智能至关重要，推动制定完善的数据安全治理体系有利于AI行业健康发展；基准测试平台可全面衡量AI模型安全性，提供公开、公正、全面的评价标准。一、超大规模智能模型是实现真正人工智能的可行路径，我国在大模型的研发和应用上已取得重要突破。超大规模智能模型是下一代AI的基础平台，是实现真正人工智能的可行路径，距离实现目标较远但已往前推进；超大规模智能模型成为人工智能前沿技术突破的重要领域，产出多项国际引领成
11、果；高质量的大规模预训练模型应具有通用能力、可解释性、可落地等特征；大模型已在搜索、推荐、对话、营销等领域实现应用落地，具有广阔的发展前景。二、人工智能国际前沿基础理论持续发展，学科交叉融合趋势凸显。现阶段深度学习模型不能很好的应对“数据分布外”问题，可借鉴人类的认知模式和决策方法，提升模型的鲁棒性；利用人工智能技术全面提升基础科学科研能力，加快进入“智能化科研”时代；数据资产化推动智能时代发展进程，建立数据资产化的全球治理体系成为迫切需求。三、应对当前深度学习发展存在的挑战，探索在小领域建立以数学与统计理论为第一原理的新一代人工智能方法论。深度学习的可计算性、可解释性、泛化性等问题存在重大理
15、认知智能是感知智能发展的下一阶段，将成为未来研究的重点方向；大模型目前仍采用“数据驱动”为主的方法，存在诸多问题，亟待探索一条与知识结合的可行道路。0203（整理：智源研究院战略研究中心）智源研究进展智源研究进展智源研究院院长黄铁军：智源研究院自成立以来，按照北京市支持建设世界一流新型研发机构实施办法（试行）文件精神，积极探索机制体制创新，已在创新研究、学术生态、成果转化、AI治理等方面取得了重要进展。下面我代表智源研究院，简要报告过去一年的建设进展。首先简单回顾一下智源的愿景，分四个层次：聚焦原始创新和核心技术，建立自由探索与目标导向相结合的科研体制；支持科学家勇闯人工智能科技前沿无人
17、波士顿动力的机器人和大狗，困难在于构造什么样的主体，遇到的困难与连接主义类似。尽管困难，连接主义和行为主义的方向是正确的，并在本轮人工智能浪潮中发挥了基础作用。本轮人工智能热潮，最主要的进展是深度学习和强化学习两套机器学习方法。深度学习主要源于连接主义，将符号主义时代人工从数据中抽取规则和知识的任务，大部分交由深度神经网络来完成。强化学习思想和行为主义一脉相承，采用深度神经网络作为智能主体，通过与虚拟环境的交互，实现自主智能。当然，连接主义最直接的思路是模拟是逼近模拟生物神经系统，这有赖于脑科学特别是神经科学的进展，也将得益于数据和环境的数字化。0405因此，目前实现智能，明确可行的路线有三条
18、：第一条，深度学习+大数据+大算力，训练信息模型；第二条，地球环境+太阳能+进化机制，诞生的生物智能；第三条，强化学习+环境模型+大算力，训练的自主智能。第一条技术途径是过去十年的主流，因为深度学习、数据和算力这三个要素都具备了，全世界掀起了“大炼模型”的热潮，催生了大批人工智能企业。但是，就像其他任何产业一样，热潮过后，就将进入集约化发展的新阶段，也就是“炼大模型”，我认为，未来真正赋值各行各业的大模型，在全世界范围内都是屈指可数的，应该尽快把资源收敛到少数超大规模智能模型上来。正是因为认识到这一点，智源研究院发挥新型研发机构人才众多、机制灵活的优势，在3月20日率先完成并发布了我国首个超大
20、成立了生命模拟研究中心，负责开发高精度生命模拟仿真平台“天演”，构建和探索感觉、知觉、记忆等智能模型，争取成为新一代人工智能发展的不竭源泉。生命模型本身就是脑科学研究的中心任务，是探索人类自身、解密智能成因的科学探索需要。“天演”生命模型系统已经开展斑马鱼全脑、灵长类视觉、人类心脏、人类认知等模型构建，推动生命科学、医疗健康和人工智能等前沿科研探索和应用发展。第三条路线的挑战最大，核心是构建地球乃至宇宙的物理模型，培育新一代自主人工智能，应对各类自然挑战。智源已经启动了“天道”物理模型建设步伐，从基本粒子模拟开始，已建立了“分子模拟研究中心”，突破了分子模拟“快”与“准”难以兼顾的瓶颈，取得重
21、要突破，将在未来五年内打造全球最具影响力的材料数据库，推动人工智能驱动的新一代分子动力学模拟迈上新台阶。上述三条路径的核心任务分别是构建信息模型、生命模型和物理模型，共同需求是算力。为建设超大规模智算平台，北京市专门安排了专项资金，建设体系架构先进、高速互联互通、可扩展高效并行的软硬件系统。在强大的智算体系支持下，三大模型性能快速提升，共同支撑新一代人工智能模型的建立，进而赋智各行各业，赋智万物。智源研究院经过两年多探索，已经确定将打造智能模型作为源头创新的核心任务，在机构设置、资源保障和机制体制上进行了系统部署，全力构建信息模型、生命模型和物理模型“智能三剑客”。简单小结一下，首先是“悟道
23、智源研究进展0607“人工智能的数理基础”方向旨在建立以数学和统计理论为第一原理的新一代人工智能方法论。已取得了一系列成果。深度势能团队首次采用智能超算与物理模型结合，将原来可能需要60年才能完成的分子动力学模拟任务缩短到了1天，成果获得国际高性能计算应用领域最高奖戈登贝尔奖。应用层面，团队提出的MOML算法已应用在冬奥赛场温度和风速预测，预测准确率大幅提高。“人工智能认知神经基础”方向旨在将认知科学、神经科学和计算科学交叉融合，为人工智能的架构和功能探索新的模型和发展思路。目前正在建立全球规模最大的高精度生物智能开源开放平台及模拟系统。“机器学习”方向旨在解决现有机器学习算法存在的可解释性缺
25、研发并上线了“交互式智能政务助手”，支持了60多个北京政务应用。针对信息检索的可解释性和公平性，提出双稳健排序等模型，连续两年在ACMSIGIR会议上贡献了约10%的学术论文。“自然语言处理”方向旨在提出“大数据+富知识+跨模态”共同驱动的新范式。在中文预训练模型、知识图谱、文本生成等领域，取得了一系列具有国际影响力的学术成果。研发出最大的中文预训练语言模型“悟道文源”，研发的神经机器翻译工具包，成为国际三大神经机器开源软件之一。智源研究院和国际AI技术生态深入融合，建设智源社区，今年将汇聚10万以上海内外人工智能科研人员。日常，智源社区举办丰富的学术交流活动，包括学术报告会、主题沙龙等，以
26、及一年一界的智源大会，打造聚合全球一流AI学者前沿思想、连接世界AI学术与产业资源的平台，构建全球人工智能学术和技术创新生态。“青源会”是智源研究院发起的青年科学家学术组织，为海内外的AI青年科学家和技术人员建立的宽松、活跃的学术交流平台，促进学科交叉，支持青年科学家提出具有引领作用的原创思想，开创新的科学前沿。在6月2日上午举办的“青源学术年会”上，将举办“青源会”成立仪式，详细介绍“青源会”发展目标及未来规划。届时欢迎各位参加。三产业发展当前，人工智能已成为经济发展的新引擎。智源研究院加快推进AI原创成果落地，加快人工智能深度应用，孵化AI创新企业，推动人工智能产业发展。当前，健康医疗已
28、芯片，用于高速场景、弱小目标、全时检测等机器视觉应用。2.安全人工智能创新中心，研发出RealSafe人工智能安全平台、DeepReal深度伪造内容检测平台等，并在金融、能源等行业进行应用。3.智能政务信息处理创新中心研发的政务问答系统，已在60多个北京政务场景中得到应用。4.疾病脑电智能技术创新中心，研发的临床脑电图智能评估系统，准确率已达到落地应用水平，产品覆盖全国11个省市，累计服务超过上万名患者。二学术生态第二方面的工作是建设学术生态。智源从成立之初，就开始遴选智源学者，建设智源社区，积极打造全球人工智能学术和技术创新生态。“智源学者计划”主要支持顶尖科学家开展人工智能重大方向的
29、基础前沿研究，支持青年科学家开展开放性、探索性研究。包含智源首席科学家、智源研究员、智源青年科学家等六个层次。已经围绕六大研究方向，遴选上百位智源学者，形成了AI科研的“北京力量”。下面介绍一下六大重大研究方向的目标及工作进展。智源研究进展悟道2.0发布0809今年，我们按照国家和北京市促进科技成果转化的最新部署，积极整合技术、场景、人才、资金等资源，推出支持AI创业的“源创计划”，为AI创业团队开放大模型、数据集等生态资源，为来自学术界的AI科学家创业团队对接应用场景，为来自产业界的创业团队对接业界领先的AI技术，加快形成可落地应用的AI产品。另外，还将创业基金等方式，加快孵化一批具有国际领
30、先技术能力的AI创新企业，为北京AI产业的持续发展储备力量。“源创计划”将在6月3日上午召开的“AI创业论坛”正式发布，敬请期待。四AI治理当前，AI伦理和治理成全球共识，国际社会正探索建立广泛认可的AI伦理原则，推进敏捷灵活的AI治理。智源研究院在2019年成立人工智能伦理与可持续发展研究中心，率先在国内开展AI伦理安全研究，并积极参与国际AI治理。AI伦理规范方面，2019年5月，发布了我国首个AI发展与治理准则人工智能北京共识。去年9月，又发布了我国首个面向儿童的人工智能北京共识。另外，我们建设了我国首个“人工智能治理公共服务平台”，针对人工智能技术研发及应用中存在的潜在伦理问题
31、提供检测服务，帮助AI研发机构研发更符合AI伦理规范的技术和产品。联合国在2015年正式通过了可持续发展目标，共17大项，涉及社会、经济和环境三方面的发展问题。为此我们发起成立了“面向可持续发展的人工智能国际协作网络与智库”，目前已汇聚了来自15个国家的专家学者。同时，我们也联合百度、小米、旷视、滴滴等企业发起了“面向可持续发展的公益计划”，目前已围绕城市治理、自动驾驶、劳动者就业影响、青少年心理影响等方面发布了首批4个研究题目，并已启动研究工作。后续，完成后的研究成果将会面向全球公开，服务于人类命运共同体的构建与实现。以上是智源研究院一年来的工作进展。智源研究院理事长张宏江：下面由我来介绍
32、智源对大规模智能模型发展的思考以及在这方面的布局。人工智能历经符号AI、感知智能两代的发展，现在已进入由“数据-知识”双轮驱动的第三代人工智能。第三代人工智能的核心思路是推进数据统计与知识推理融合，以及脑认知机理融合的计算，从认知的角度实现通用人工智能。“大模型+大算力”是迈向通用人工智能的一条可行路径。国际上，OpenAI正在通过制造通用机器人和使用自然语言的聊天机器人，实现其通用人工智能发展战略。去年5月发布的GPT-3模型，参数达1750亿；今年1月发布的DALLE模型具有强大的文本-图像生成能力。在这条路径上，大模型对于人工智能具有重大意义，未来将基于大模型形成类似电网的变革性产业基础
33、设施。AI大模型相当于“发电厂”，将数据，也就是“燃料”，转换为智能能力，驱动各种AI应用。如果将大模型和所有的AI应用相连接，为用户提供统一的智能能力，全社会将形成一个智能能力生产和使用的网络，即“智网”。所以，大模型就是下一个AI的基础平台。在本届智源大会开幕式上，由智源研究院理事长张宏江博士和智源研究院副院长唐杰教授共同发布了全球最大的超大规模智能模型“悟道2.0”，参数规模达到1.75万亿，在国际人工智能领域主流基准测试榜单的多项任务上取得了世界顶尖水平，并且在文本摘要、智能问答、诗词创作、绘画等方面，都已接近突破图灵测试，推动打造我国人工智能战略基础设施。张宏江博士认为，超大规模智能
34、模型是下一代AI的基础平台，未来将形成类似于电网的变革性产业基础设施。AI大模型相当于“发电厂”，将数据，也就是“燃料”，转换为智能能力，驱动各种AI应用。如果将大模型和所有的AI应用相连接，为用户提供统一的智能能力，全社会将形成一个智能能力生产和使用的网络，即“智网”。悟道2.0发布悟道2.0发布1011智源研究院作为AI基础建设的先行者，从去年10月份开始启动超大规模智能模型研发工作。今年3月20日，我们发布了中国首个超大规模智能模型“悟道1.0”，取得了多项领域领先的突破。包括中文、多模态、认知、蛋白质预测在内的系列模型，取得了多项国际领先的AI技术突破，实现了我国在超大规模预训练技术上
35、的并跑。智源研究院作为AI基础建设的先行者，从去年10月份开始启动超大规模智能模型研发工作。今年3月20日，我们发布了中国首个超大规模智能模型“悟道1.0”，包含中文、多模态、认知、蛋白质预测在内的系列模型，取得了多项国际领先的AI技术突破，实现了我国在超大规模预训练技术上的并跑。在研发“悟道”的过程中，很重要的一点是，我们改变了过去小团队的模式，用系统的方法做AI，建立有目标的大团队，以问题为导，探索出最好的解决方案。这也是人工智能发展到今天，在研究模式上的转变，过去我们更多强调的是小范围的突破；而今天人工智能走出实验室，从算法到技术，从小模型到大模型，我们智源过去一年多，重点就在如何把北京
36、市，乃至全国的AI研发力量整合到一块儿，形成一个大兵团作战的模式。在这里“悟道”团队由智源研究院学术副院长唐杰教授领衔，100多位科研骨干共同参与，形成了由顶尖科学家组成的“人工智能特战队”。经过一年多的努力，我们看到了一系列的成果，今天发布的“悟道2.0”就是这个团队阶段性的成果。我们相信未来还会有一系列的成果发布。今天我想重点要说的是“悟道2.0”的一系列突破。这些突破真正推动了大模型作为AI的基础平台。“悟道”智能模型系统将构建“大模型、大平台、大生态”。一是以“大规模”“高精度”“高效率”为发展目标，持续研发大模型；二是围绕大模型研发，构建大规模算力平台，支撑“信息”“生命”“物理
37、”领域的大模型研发；三是通过示范应用搭建、API开放、开源社区等，构建大模型生态。下面我们有请清华大学教授、智源研究院副院长、“悟道”带头人唐杰给大家做详细介绍，一起看一下大模型的一系列特征、强项和未来的发展方向。智源研究院副院长唐杰：感谢宏江！在今天这个特殊的日子，第一个我想说的是“节日快乐”。这个节日快乐不是说给大家听的，是说给“悟道”听的，“悟道”虽然是2.0，但还是一个小孩子，大家不要指望“悟道”智商到达成人的水平，我们还要继续努力。首先“悟道”的目标是瞄向世界领先水平。我们希望机器能够像人一样思考，我们希望在多项任务中超越图灵测试，我们希望在这一代“悟道2.0”中，从原来的“文本为
39、，除了参数规模，我们还统一了文本和视觉，可以同时支撑更多的任务和应用，实现更加通用的智能；此外，我们首次在国产超算上训练了万亿模型，打破原来只能用GPU来训练模型的限制；同时我们也实现了中英双语，在4.9T高质量数据上的训练，这些数据经过严格的清洗，里面包括1.2T中文数据、1.2T英文数据，还包括2.5T的中文图文配置数据；除了数据之外，我们在算法上提出了万亿参数模型的基石FastMoE，可以支持Switch、GShard等复杂均衡策略，支持不同专家、不同模型以及其他算法，这才是真正的万亿模型落地的关键。我们把这个算法部署在阿里巴巴的PAI平台上，表现非常好。从底层的transformer到
40、上层的FastMoE，我们100%实现了核心代码，针对神威架构开发了定制化算子，针对神威网络拓扑设计了通信策略，最大测试了几万个专家的MoE训练。除了“大”之外，我们还“精准”上做了很多事情。“悟道2.0”在9项国际公认的Benchmark上取得了突破，包括ImageNet、LAMA、LAMABADA、SuperGLUE、UCMercedLand-Use、MSCOCO、Multi30K等。悟道模型整体框架如下：图中间是整个模型的四个团队，包括“文源”“文澜”“文溯”“文汇”，同时我们还建立了“知识图谱”团队。在整个过程中，我们希望数据和知识双轮驱动，从而构建认知智能。当然仅有这些还不
42、逻辑性，不会发散。我们举几个例子。我们用CogView做图像的生成，这个算法是一个文本生成图像的新框架，可以把文本-图像特征全部整合在一起，并且融合VQ-VAE框架，整个效果非常好。我们另外实现了把中文数据和多模态数据整合在一起的中文多模态预训练模型M6，这个模型最大的特点是可以实现高效的计算，在32张V100-32GBGPU上即可完成千亿参数训练，这是一个非常大的算法突破。1617悟道2.0发布悟道2.0发布下面我将介绍一位同学，这也是今天节日的重点。我们有一个新同学叫“华智冰”。华智冰是智源研究院、智谱华章、小冰公司一起发布的一个虚拟数字人。这个虚拟数字人以“悟道”为内核进行学习。在
43、未来她将不断成长，变成一个真正的智能人。除此之外我们还发布“悟道之巅”人工智能比赛。我们做创新引领、创意无限的一个大赛，欢迎各位参加，这个大赛有100万的奖金，大家扫二维码可以参加到这个社区，我们希望各位都能来勇闯AI无人区。总结一下，“悟道2.0”的特点有三：最大、最准、实用，我们希望每一位都能参与其中。在整个模型上，我们提出了非常实用的框架，研究了一个最精准的算法，实现了最大的模型，探究了模型的智能基点。除了算法上的突破之外，我们也实现了非常高效的框架CPM-2，一个面向预训练模型的全链路高效训练框架。这是由刘知远教授发布的重要框架，实现了五个高效：高效编码、高效模型、高效训练、高效微调、
44、高效推理。它真正面向产业界的应用，任何公司、学者、开发者拿到这个框架以后，都可以非常快地进行部署框架，然后应用到实际应用当中。这个框架里面整合了大量的数据，包括50TB的文本数据；也训练了核心的模型，例如1980亿参数的中文模型；这个模型在七个能力评测中达到整体最优，包括识记、阅读、分类、计算、跨语言、生成和概括等。除了模型最大、模型自主、高效实用外，我们还发布了全球最大数据集WuDaoCorpora，这个数据集包含了最大的中文文本数据集、多模态数据集、中文对话数据集，是之前最大数据集的3倍。我们认为当下只有做出更大的数据，才能做出更优美的模型，因此我们邀请大家共同参与到WuDaoCorp
47、容的青年新星研究社区，发挥青年学者之间的协同效应，鼓励青年学者探索面向学科重大问题与挑战的新思想、新方法、新理论的使命，青源会以首批智源青年科学家为内核，逐步向外辐射，已吸引95位海内外一流的青年人才齐聚“青源会”舞台，相互认识，交流合作，打破学科和时空壁垒，产生思想碰撞，在学科融合与交叉中实现原创性成果突破。“青源会”AI青年科学家的俱乐部组织架构青源会围绕开展特色学术活动、开放学术交流平台、和出版智源人工智能丛书三大目标，鼓励青年科学家开心探索智能本质。其中特色学术活动已取得阶段性进展，包括：1.青源学术年会：每年智源大会期间召开，年度优秀青年学者不可缺席的交流活动。2.青源Worksho
49、源头创新向源头企业实现跨越人工智能技术应用进入一个新的发展期，各个行业都产生了对AI驱动服务的巨大需求，经过近十年的沉淀，以深度学习为代表的人工智能技术，将会沿着无监督、可解释、自适应、融入知识，以及超大规模多模态融合等方向实现突破，从而带动智慧医疗、智能制造、智能出行、智慧城市等一批用AI重新定义的巨大新兴行业生态。但一项技术从实验室到产品再到创新企业是一项非常艰苦的探索过程。为了更好的帮助这些创新群体，6月3日，智源研究院在2021北京智源大会AI创业论坛上发布了源创计划。面向来自学术界和产业界的创新团队，开放智源AI人才网络、大规模智能模型、数据集和应用场景等生态资源，加速人工智能源头创
50、新向源头企业的跨越。对于来自学术界的AI科学家，源创计划将帮助其对接真实的场景，推动产品加速或技术迭代，同时也会帮助科学家找到一对一的创业导师。对于来自产业界的创业者或者传统企业，源创计划将帮助其对接AI技术、首席科学家及AI工程师资源。2223全体大会在本届智源大会上，从6月1日至3日共举办了四个场次的全体大会，分别从机器学习技术、AI经济、科学与智能、脑与智能、自动驾驶、AI伦理与安全等多个角度探讨人工智能的未来发展趋势。在首日全体大会上，图灵奖获得者，加拿大蒙特利尔大学教授YoshuaBengio探讨了基于“System2”的机器学习研究思路，清华大学国家金融研究院院长朱民
51、分析了智能时代下数字资产的重要战略意义，中国科学院院士、普林斯顿大学教授、北京大数据研究院院长鄂维南提出传统科学研究领域即将成为人工智能的主战场。在大会第二天上午的全体大会中，滴滴出行联合创始人兼CTO张博与Udacity创始人、GoogleX创始人、Google自动驾驶之父SebastianThrun从宏观视角探讨了自动驾驶未来发展方向，Numenta首席科学家、美国工程院院士JeffHawkins提出“千脑理论”指导下的机器智能发展路径，加州大学伯克利分校教授宋晓冬介绍了如何构建负责任的数据经济，2017年图灵奖得主、加州大学伯克利分校教授、RISC-V国际开源（RIOS）实验
52、室主任DavidPatterson对如何构建RISC-V开源社区提供了重要建议。在第二天下午的全体大会中，智源研究院理事长张宏江博士与新南威尔士大学教授TobyWalsh、康奈尔大学教授BartSelman分别就大模型和新型AI组织的意义进行了轻松交流，美团首席科学家、副总裁夏华夏主持的尖峰对话中深刻探讨了自动驾驶的发展趋势，德国图宾根大学和马克斯普朗克脑研究所李兆平教授就融合人类视觉感知与注意选择的机制给出了自己的意见。在大会的最后一场全体大会中，智源研究院理事长张宏江博士与加州大学伯克利分校教授StuartRussell的尖峰对话中围绕AI对社会的影响做了深刻探讨；大脑奖获得者、
53、马克斯普朗克生物控制论研究所所长PeterDayan提出借鉴最新的大脑学习机制来发展新一代的人工智能强化学习系统的理念；在整个大会的最后一场报告中，康奈尔大学教授CarlaGomes强调了人工智能在环境保护、可持续发展中的重要作用和进展。6月1日全体大会报告一：TowardsRobustGeneralizationinMachineLearningwithSystem2DeepLearningYoshuaBengio|图灵奖获得者，加拿大蒙特利尔大学教授随着深度学习的不断发展，其算力需求大、依赖大量数据训练、缺乏可解释性的问题日益严重。2018年图灵奖得主，“深度学习
54、三巨头”之一，魁北克人工智能研究所（MILA）科学主任约书亚本吉奥（YoshuaBengio）在本次全体大会的演讲中指出，诺贝尔经济学奖获得者丹尼尔卡尼曼（DaneilKahneman）在思考：快与慢一书中讨论了大脑的两种计算模型，即系统一（System1）和系统二（System2）。System1是直觉系统，主要负责快速、无意识、非语言的认知，比如当人被问到一个问题的时候，下意识或者习惯性的回答，就属于System1的范畴。Bengio认为目前深度学习主要就在做System1的事情。System2是逻辑分析系统，是有意识的、带逻辑、规划、推理以及可以语言表达的系统。人在通过S
57、素包括：注意力和意识。注意力（Attention）机制如今已成为了深度学习领域的重要组成部分，并且在2014-2015年间促使机器翻译等领域取得了巨大的飞跃，当下自然语言处理（NLP）领域中最先进的模型大多都是基于Transform-er构建的，而自注意力机制正是Transformer的基石。受此启发，Bengio等人提出了循环独立机制（RIM）。该机制并没有使用同构的网络，而是将网络架构划分为一些小的片段（小模型），这与因果机制相类似。该机制并没有使用全连接的结构，而是使用了类似于人类意识加工过程中“模块内全连接”+“模块间瓶颈”的机制，模块之间只有少量的信息传递，而各个模块之间存在竞争。实
58、验表明，这种机制可以提供更好的分布外泛化性能。报告二：数字资产的时代朱民|清华大学国家金融研究院院长清华大学国家金融研究院院长朱民认为，当前世界正在走出信息时代，进入智能时代，整个物理世界和经济社会生活都在被数字化，数据是智能化时代的基石。从资源到资产，数据资产化具备经济学和社会意义，数据资产化将推动产业发展的重要进程。数据具有资产的属性，数据资源丰富、更新频繁、品种多样、具有有限的排他性和非竞争性，具有准公共物品的特征，以及外部性、自然增值性、多维性，将多种多样的数据汇聚后带来的使用价值更高。朱民指出，当前数据资产化仍面临多重挑战，一是产权问题，数据采集是否侵犯隐私、造成数据泄露等，是值得讨
59、论的法律问题。二是数据安全和隐私问题，包括在个人、企业、社会等层面的安全和隐私问题。三是数据定价和估值困难，数据是长尾的价值链，具有很大的不确定性，数据也会被不断的重复使用，需要一个完全新的定价机制。为了应对数据资产化过程中的产权、安全、隐私、估值等挑战，朱民建议，要构建安全可交易的数据资产生态，需要市场、政府、企业等多方参与，形成具有全球治理特征的监管和法律框架，推动数据资产化的全球治理，在促进数据资产流动的同时，构建完善的法律监管和问责框架机制，形成全球范围内完善的数据贸易体系。中国已经是世界的数据大国，推动数据资产化对中国的科技发展具有重大的经济和社会意义。朱民强调，中国经济的根本转型在
60、于，要从资源型经济转向数字经济。为了实现这一目标，要在全国范围内推动数据资产化工作，助力中国走向高收入发展阶段，改变中国经济发展的历史轨迹。报告三：科学与智能鄂维南|中国科学院院士，普林斯顿大学教授，北京大数据研究院院长鄂维南院士提出传统科学研究领域即将成为人工智能的主战场。传统科学领域的两种科研范式：基于数据的开普勒范式和基于第一性原理的牛顿范式。开普勒范式解释性差但有效，牛顿范式解释性强但模型复杂计算量巨大。将深度机器学习与微观物理模型相结合：由最微观原子物理模型开始，在每一层用机器学习对系统仿真进行学习，并抽象出上一层尺度所需的基础模型，层层递进往上，既可以为解现实问题提供效率保证，另一
61、方面又不失基本物理原理的支撑，保证了求解的精度和可解释性。此种新方法将对各种需要大规模科学计算的传统学科（化学，材料，生物医药，机械，控制等等）提供赋能与加速，发起传统科学研究效率的革命。2425全体大会6月2日随着上世纪五十年代“电子计算机+数值模拟”引入科研工作，科学家可以用大规模超级计算机，采用差分方法、有限元方法等数学计算方法，在超级计算机上第一次大规模地实现了直接用基本原理解决实际问题。但在实际问题中，拟合逼近真实结果的多项式方程维度过多，随着维数的增加，对算力的需求呈指数增长，出现了“维数灾难”的问题。因此，在高维情形下，多项式不是一个有效的计算工具。鄂维南院士认为，在解决高维科学
62、计算问题时，深度学习是一个可行的方案。例如，在分子动力学模拟领域，需要研究原子之间相互作用。传统的方法是由科学家猜测势能函数，存在很大的不确定性。1985年，科学家提出分子第一性原理方法，利用量子力学模型在线计算原子间的相互作用力，为原子模拟提出了可靠的方法，但效率仍比较低，只能处理1000个原子，无法扩展到真实条件下。随着AI超算的发展，以机器学习为主的预测方法快速发展，形成量子力学模型提供数据，机器学习方法提供模型，能够对数十亿数量级的原子相互作用力进行预测，是一种新型的科学研究方法，极大推动了国内科学领域的研究。鄂维南院士认为，传统科研领域应当成为人工智能的主战场，要利用人工智能全面提升
63、科研能力，加快进入“智能化科研”时代，推动对当前的工业和技术升级。过去的科研模式是小作坊模式，虽然能够自给自足，但效率非常低。当前的基础科研工作都可以在统一的大平台上进行，平台将成为科学研究的“安卓”模式，科研工作者可以直接做应用开发，提升科研效率。未来要推动应用数学与机器学习加强结合，让机器学习成为应用数学的一个强有力工具，加快人工智能深入到科学研究和技术创新工作，推动科学研究走上快车道。尖峰对话-1：自动驾驶未来之路张博|滴滴出行联合创始人兼CTOSebastianThrun|Udacity创始人、GoogleX创始人、Google自动驾驶之父报告一：TheThousandBrai
64、nsTheory-AroadmapforcreatingmachineintelligenceJeffHawkins|Numenta首席科学家，美国工程院院士尽管现代人工神经网络十分强大，在诸多领域取得了成功，但是其距离实现真正的智能还有很大的差距；而人脑在感知和认知方面则具有高效、鲁棒性强等特征。美国机器智能公司Numenta首席科学家、美国工程院院士杰夫霍金斯（JeffHawkins）认为，人脑在认知陌生物体时，将触觉的位置信息和移动动作的时空信息能够结合起来，对于每一个物体的不同特征，都能在大脑中形成一个模型，为了认知一个物体形成的模型可以有上千个模型，人脑会用多个模型进
65、行快速推理，并根据推理结果进行投票，选择最为合适的认知结果。人工智能应借鉴人脑用于认知真实环境的“千脑模型”理论，助力人工智能认知水平提升。在具体研究上，霍金斯介绍了皮质柱、参考系等概念，指出智能机器的基本构成单元应该像皮质柱一样学习一个有关世界的模型，并且通过投票机制整合数以千记的基本单元的“感觉-运动”过程的结果。霍金斯通过实验验证了千脑理论的生理学基础，并找到基于千脑理论创造智能机器的方法。霍金斯通过人识别咖啡杯的思维实验引出了千脑理论的体系：皮质柱通过融合感觉输入和运动学习世界模型，并通过投票机制整合皮质柱的感知结果。他以YCB数据集上的抓取/识别任务为例，验证了投票机制的有效性
67、人工智能和机器学习技术的生命线。网络空间每天会产生海量数据，催生了全球体量巨大的数据经济。然而，其中很大一部分数据包含敏感的隐私信息。对于个人而言，目前的匿名化技术并不能够很好地保护隐私，用户也无法从数据中得到充分的收益。对于企业而言，网络攻击可能会窃取大量的敏感用户数据，数据泄露问题对企业的业务带来了巨大的损害。目前，CCPA和GDPR等数据隐私保护法规相继出炉。但是要落实这些法规需要企业付出巨大的代价。由于缺乏有效的数据保护技术，大量数据无法被用于机器学习应用。特征识别等新技术催生了新的应用，但是往往会以牺牲用户的隐私为代价。如果无法解决该问题，会阻碍社会的进步，损害人类的基本权利。
68、因此，加州大学伯克利分校教授宋晓冬提出，我们迫切需要构建一种负责任的数据经济框架，其目标/原则如下：（1）建立并实施数据的权益保护机制（2）公平地分配数据产生的价值（3）实现高效的数据利用，从而使社会、经济效益最大化宋晓冬教授认为，为了实现上述目标，我们需要结合技术和非技术的解决方案。该框架由三个部分组成：技术解决方案、激励模型、法律框架。就技术解决方案而言，我们要求数据在使用过程中能够受到保护，能够在不复制原始数据的条件下控制数据的使用，并且使计算的结果不会泄露敏感信息。目前，可信硬件、安全多方计算、零知识证明、完全同态加密等安全计算技术旨在保证数据在使用过程中也能够被保护；差分隐私保护
69、技术保证了计算结果不会泄露敏感的用户信息；联邦学习技术使数据不会离开数据所有者的机器，模型以一种分布式的方式被训练；区块链等分布式记账技术则提供了不可变的日志，以确保数据使用是兼容的。宋晓冬教授团队基于数据令牌化（DataTokenization）技术开发了Oasis平台，实现了负责任的数据经济，该平台可以在保护数据权益的情况下使用户从数据中获利。激励模型旨在保证数据产生的价值可以被公平地分配。我们可以将机器学习视为一种联盟博弈，数据的贡献者是联盟中的博弈者，我们可以通过效用函数衡量数据的价值，从而公平地分配数据产生的价值。宋晓冬教授团队尝试使用Shapley值来分配联盟博弈中由博弈各方
71、州大学伯克利分校教授、RISC-V国际开源（RIOS）实验室主任大卫帕特森（DavidPatterson）认为，RISC-V芯片采用开源模式进行研发，发展前景广阔。帕特森指出，RISC-V芯片是全球合作的典型项目，发展伊始就由加州大学伯克利分校、清华大学等全球高校和科研院所通力合作，研发架构简洁、技术先进、易用性强的RISC-V架构，同时制定了技术标准体系。在此基础上，开源对RISC-V技术发展具有重要意义：一是开源有助于吸引全球开发者参与，加快推动底层芯片技术迭代；二是开源技术打破“专利流氓”（TrollCompany）企业的IP垄断格局，帮助专利基础薄弱的芯片初创企业研发新产品；三是R
75、沿技术研究、产业应用、技术标准制定和社区运营等工作，为研究人员和产业从业者提供科研、政策、资金、人才、投融资等资源和平台，加快推进人工智能发展。巴特萨尔曼表示，他在任内的头等大事是推动美国政府建立一个公益性的AI研究平台，汇聚全美人工智能顶尖人才，保持美国在AI领域的引领地位，这与美国人工智能科学家、斯坦福大学教授李飞飞呼吁的“美国国家科研云”计划不谋而合。智源研究院作为落实“北京智源行动计划”的重要举措，是在科技部和北京市委市政府的指导和支持下，由北京市科委和海淀区政府于2018年11月推动成立的新型研发机构，肩负着建设北京国际科技创新中心的历史使命，对引领我国人工智能发展具有重要意义。全体
76、大会全体大会尖峰对话-2：新机遇新挑战探讨自动驾驶的趋势主持人：夏华夏|美团首席科学家、副总裁嘉宾：冉斌|东南大学-威斯康星大学智能网联交通联合研究院院长韩旭|文远知行创始人兼CEO顾维灏|长城控股毫末智行CEO安向京|行深智能董事长核心观点：单车智能、车路协同、智能网联车等技术将实现系统融合，进入“系统定义自动驾驶”时代东南大学-威斯康星大学智能网联交通联合研究院院长冉斌认为，仅通过单车智能实现高级别自动驾驶较为困难，要满足全路网、全天候、全场景的自动驾驶要求。未来我们将进入“系统定义自动驾驶”的新时代，单车智能、车路协同、智能网联车等技术将实现融合，通过汇聚车、路、人、网、
78、点：自动驾驶发展应遵循先低速再高速，先载物后载人，先限定场景再开放场景。行深智能董事长安向京认为，深度学习和同时建图与定位的技术，让原来阳春白雪的无人驾驶，变成了可工程化、规模化实施的技术，但不容忽视的是，这两项技术都有着概率问题，因此无法避免长尾效应，解决95%的问题和场景是基础，而解决剩下的5%才是自动驾驶技术持续发展的关键。而在后者没有彻底解决之前，自动驾驶发展应遵循“先低速再高速，先载物后载人，先限定场景再开放场景”的发展规则。核心观点：L4级自动驾驶将很快实现。文远知行创始人兼CEO韩旭表示如果以小巴士来看，L4级别最迟明年年初可以实现，但纯无人巴士预估会在20232025年实现部分
79、区域的接驳。长城控股毫末智行CEO顾维灏认为，无人载物在两三年会很快普及，但有人自动驾驶或限定区域、系统化改造的局部区域L4或者L5应该会更快地到来。安向京认为，L4级无人驾驶在限定场景下会比预期更早到来，但需要更多人、车、路基础设施进行系统化改造。冉斌认为，L4级自动驾驶真正实现的是从低速到高速，从封闭到开放，尽管车路协同的出现大大加快了L4自动驾驶的进程，到2022、2023年中国将会有十几条高速公路中的二十公里、三十公里会按照第三级自动驾驶设计，给车提供更广阔的场景，但L4级自动驾驶至少也需要到2025年、2027年左右才可以实现。报告四：Naturalintelligence:Bra
80、inmechanismsthatenableustolookandsee李兆平|德国图宾根大学教授德国图宾根大学和马克斯普朗克脑研究所的李兆平教授从物理学转向计算神经科学，致力于推进对人类感知觉系统的理解。李兆平教授在其报告中介绍了生物智能如人类大脑视觉系统的工作机理，强调了对视野中央与外周的二分（central-peripheraldichoto-my）加工，并提供了直观的图片样例与丰富的实验证据。现有的深度卷积网络只是在形式上借鉴了人类大脑视觉皮层的层状结构，模拟了大脑的部分视觉功能，却未能深入地理解大脑视觉系统运作背后的机理。人类视觉系统对中央视野的输入存在反馈调节等机
81、制，能在有限输入的环境中兼顾鲁棒性与通用性，并实现视觉理解，而对外周视野的加工则表现出与现有人工智能类似的不稳定性。李兆平教授认为循着视觉皮层的层级结构和反馈机制更加深入地研究人类视觉系统，理解人类视觉系统的运作机制，有利于启发未来人工智能的研究和发展。2829（整理：戴一鸣、熊宇轩、孙晨、沈磊贤、沈林杉、肖健、王光华、蒋宝尚、智源认知神经团队）全体大会全体大会报告一：TheWeddingofNeuralandArtificialReinforcementLearningPeterDayan|马克斯普朗克生物控制论研究所所长PeterDayan在剑桥大学学习数学，并在爱丁堡大
82、学获得博士学位，曾共同创建盖茨比计算神经科学组并担任该机构主任，同时也是马克斯普朗克/加州大学学院计算精神病学和老龄化研究中心副主任。PeterDayan指出过去的强化学习研究主要集中在研究生物大脑中的有模型学习，无模型学习，以及简单的巴普洛夫条件下的强化学习行为。近年来，大量新的研究表明，大脑中的经验回放，在生存压力和焦虑条件下对风险的偏好程度等，对于生物体的强化学习行为会产生重要的影响。生物大脑在学习过程中，会产生丰富的经验回放现象，比如老鼠在进行觅食行为前，会产生前向的经验回放，而在完成觅食行为后，会产生反向的经验回放。如果干扰经验回放的进行，最终都会影响老鼠的学习行为。大量的理论假设
83、被提出，比如经验回放为深度强化学习提供了一种记忆缓存机制，对以前的学习经验进行重组，前向经验回放可能是大脑在做在线规划等。除了经验回放现象，最新的研究表明，大脑对风险的偏好程度决定着我们对于奖赏价值的衡量，这对于我们的决策行为有着重要的影响。除了经验回放和风险偏好，近年来，在有限理性、元控制、情境控制、社会互动等方面对生物大脑强化学习系统的研究，也可以对人工智能强化学习系统提供借鉴。PeterDayan认为大脑学习机制和人工智能有深刻的联系，我们可以从人工智能的算法获得启发解释脑科学机制，也可以从丰富而有效的大脑学习机制中获得启发和学习，发展更多新的人工强化学习方法，人工智能应与大脑“联姻”
86、面，提出各个参与方应该遵循的有益于人类命运共同体构建和社会发展的15条原则，以及2020年发布“面向可持续发展的人工智能(AI4SDGs)公益研究计划”。罗素教授认为伦理研究是未来人类能够完全掌握人工智能技术，为经济社会发展服务的重要保证。6月3日全体大会全体大会报告二：ComputationalSustainability:ComputingforaBetterWorldandaSustainableFutureCarlaGomes|康奈尔大学教授可持续发展要求我们平衡环境、经济以及社会的需求。联合国在2015年为可持续发展研究提出了17项目标，包括消除贫
87、穷、消除饥饿、提升教育和医疗水平等。美国康奈尔大学教授CarlaGomes教授认为，计算的可持续性是旨在为可持续发展研发计算方法的交叉研究领域，需要可持续性研究、计算机科学、以及人工智能的多个子学科的共同努力，具有很大的挑战性。CarlasGomes教授指出约束优化、动态建模、仿真、机器学习、多智能体系统、公民科学等计算方法可以被用于用于生物多样性保护、平衡环境和社会经济需求、促进材料和可再生能源研发等领域。值得一提的是，在许多科学探索场景下，我们缺乏大量的有标签数据集，此时我们需要进行无监督学习。我们可以将人工智能推理与机器学习相结合，得到有意义、可解释的解决方案。针对生物多样性保
89、模型假设物种之间的交互服从多元高斯分布，这种假设难以估计协方差矩阵的参数。为此，CarlasGomes教授团队提出了一种端到端的深度学习模型DeepMVP，该模型可以预测41种鸟类的迁徙模式。此外，该模型是一种通用的多实体依赖学习模型，可以扩展到多目标检测等领域。针对平衡环境和社会经济需求的任务，CarlasGomes教授介绍了其团队在亚马逊盆地水力发电大坝选址问题中平衡社会-经济影响的工作。他们将该任务视为一个多目标决策问题，旨在构建更符合人类伦理的决策支持系统，并使用多目标优化、求解帕累托前沿的方式来解决该问题。具体而言，在该任务中，我们需要同时考虑电力、渔业、交通运输业、农
91、大学等顶尖学府的材料科学家和计算机科学家共同开发了科学自主推理智能体（SARA），旨在整合材料学实验、理论、以及计算方法。3031报告一：LocalElasticity:APhenomenologicalApproachTowardUnderstandingDeepLearning苏炜杰|宾夕法尼亚大学助理教授宾夕法尼亚大学助理教授苏炜杰提出了局域弹性（localelasticity）的概念，并作为用来理解深度学习的唯象理论（phenomeno-logical）。苏炜杰指出深度神经网络每一次训练倾向于影响同类型数据的预测，例如用一只猫的图片进行权重迭代使得网络的权重改变后，
92、对另一只猫的预测影响会比较显著，对老虎的的影响一般，对乌龟的影响较小。并通过一系列实验验证了深度神经网络存在局域弹性的现象，即权重更新的影响是局部且衰减的。对于neuraltangentkernel模型，苏炜杰将其于局域弹性相结合，提高了模型预测的准确率，这说明局域弹性会帮助学习。另一个角度，苏炜杰指出经典的稳定性决定泛化性的结果直接应用于神经网络是存在问题的，并提出了依赖于数据的局域弹性稳定性的概念。苏炜杰认为一个好的机器学习解释模型应当将层次性（hierarchi-cal），迭代性（iterative），压缩性（compressive）三个特征包含在内，并基于此提出了一个唯象的模型ne
94、featureskernel，neuraltangentkernel与神经网络之间存在的差距较大或较小。例如对于图像分类问题，有时卷积神经网络明显优于卷积的randomfeatureskernel方法，而对于一些小的数据集有时核方法会比神经网络表现更好。另一个问题是由于图像具有一些不变性，通常卷积核方法会比高斯核方法表现更好，应该如何量化卷积核方法与高斯核方法之间的差距。对于第一个问题，梅松提出了spikedcovariatesmodel这样一个toymodel进行分析，当协变量信噪比（covariatesignaltonoiseradio）很小的时候，神经网络要比核
95、方法好得多，此时神经网络与核方法之间的差距很大。但是对于各向同性数据集，此时协变量信噪比很大，特征学习是不必要的，核方法也能表现的很好。对于第二个问题，梅松认为当目标函数在某组动作上具有不变性时，例如图像问题的平移不变性旋转不变性，使用具有不变性的核方法（invariantkernel）会比标准核方法如高斯核等表现更好，因此可以通过学习具有不变性的目标函数进行量化。梅松的工作对核方法进行了进一步的理论分析与实验上的验证。人工智能的数理基础论坛当下人工智能面临着可计算性、可解释性、泛化性、稳定性等诸多重大理论挑战，如何打破基于计算机实验和认知神经科学的人工智能传统建模范式，建立起以数学与统计理
97、chasticoptimizationmethodviamartingalesKatyaScheinberg|康奈尔大学教授在众多诸如机器学习、深度学习以及强化学习的优化问题中，采样的随机性通常会对目标函数带来近似误差。尽管自适应步长的优化方法在确定性的情形下已经有了深入研究，但在这些带噪声的情形下的算法理论性质依然未知。针对这个问题，KatyaSchein-berg等人提出了自适应随机优化方法的复杂度分析框架。她们从经典线搜索方法出发，将其推广至带噪声的线搜索方法，并建立了“Trueiteration”的概念用于描述梯度近似的精确程度。通过将自适应优化过程建模成鞅，自然地将算
98、法的复杂度问题归结为估计该随机过程的停时问题。在噪声有界以及期望意义下有界的假设条件下，分别给出了停时的估计，从而得到算法复杂度的估计。进一步将这个框架得出的结论运用到具体问题上，得到了非凸问题、凸问题、强凸问题的自适应随机优化的复杂度分析。KatyaSchein-berg基于鞅的停时的估计给出的自适应随机优化算法复杂度分析框架具有较强的适用性，可以进一步推广到其他的一些算法，并为未来随机优化算法的理论分析提供了一条重要的思路。报告四：随机梯度下降法的线性稳定性导致的Sobolev正则化效应马超|斯坦福大学助理教授斯坦福大学助理教授马超在这次讲演中介绍了随机梯度下降更倾向于选择Sobol
99、ev半范数更小的神经网络。通过利用神经网络具有的乘法结构，当被训练的神经网络在训练集上的误差为零时，两层神经网络的Sobolev半范数可以被参数的平坦性来控制。马超证明了具有线性稳定性的随机梯度下降收敛的极小值的平坦度可以被算法的超参数，如学习率和批量大小控制。通过建立这样一个随机梯度下降法的超参数和极小值的平坦性的关系，我们可以得到一个基于算法的泛化误差的上界。同时，马超还证明了在他的框架下虽然随机梯度下降过拟合（训练误差为零），但仍具有对抗鲁棒性。总结来讲，随机梯度下降会更倾向于选择平坦的极小值，而平坦的极小值会有更好的泛化能力。至于更加深层的神经网络和非插值的情形，可以留作将来研究。圆桌
100、论坛：人工智能的大统一理论？林伟|北京大学长聘副教授，智源研究院数理基础方向研究员明平兵|中国科学院数学与系统科学研究院研究员，智源研究院数理基础方向研究员邓柯|清华大学长聘副教授，智源研究院数理基础方向研究员林宙辰|北京大学教授，智源研究院机器学习方向研究员王涵|北京应用物理与计算数学研究所副研究员，智源研究院青年科学家文再文|北京大学长聘副教授，智源研究院数理基础方向研究员张志华|北京大学教授，智源研究院数理基础方向研究员林伟：今天邀请七位专家，从几个不同的理论的层面来对人工智能数理基础进行讨论。由我先抛砖引玉，做一个引导报告。我们探讨的主题是“人工智能的大统一理论？”现在人工智能的
101、应用已经非常广泛，但美中不足的一点是缺乏一点点理论。何为人工智能的理论呢？它到底有哪些方面？从我个人的角度，我觉得最主要的包括以下侧面。人工智能的数理基础论坛3233第一个侧面是可计算性或可扩展性。可计算性是一个比较基本的要求。一个学习算法能够实现的前提是计算复杂度不大，且能够可扩展至大规模应用场景。这个侧面是运筹学和优化等方面研究的重点。第二个侧面是泛化性或者可预测性。这是一个比较核心的问题，它能够保证有关的学习算法在未观测的数据集上也能表现的很好。这个侧面是统计学等研究的重点。第三个侧面是稳定性或者是稳健性。稳定性在机器学习领域常指算法的稳定性，它关心的问题是当我们对模型或者算法作出一定的
103、，那么实际上就有四个小山包，每个小山包基本上都有人占领。但到底哪个小山包更有希望，我们目前并不是很清楚。如果能够建立一个大统一的理论，从更加高、宽泛的视角来看待这些似乎割裂着的理论，进而在这些不同的理论侧面建立一个深刻的联系，这不仅可以帮助我们更本质的理解人工智能现阶段各个方法的本质，还有助于指导我们发展新的更好更“智能”的算法。我简单举几个例子。第一个例子是计算和统计之间的权衡。我们知道，算法需要有多项式算法或更好地复杂度；但另一方面我们希望它在统计上的效率要好一些。这两方面实际上是需要某种程度的平衡。Wangetal.(2016)1这篇工作，介绍了稀疏主成分估计问题中统计和计算之间的权
108、存在着较强的个人倾向性，因此很难说人工智能是一个统一的学科。邓柯教授认为，目前人工智能距离大统一理论还比较遥远，现状仍是一个比较松散的联合。人工智能的领域十分宽泛，如算法、机器学习、认知科学、神经科学、知识图谱等。大家各自做的工作差异非常大，各具特色。目前机器学习领域发展的非常快，研究范式一直在更新，其理论发展具有非常大的可塑性。从一个统一的观点来看待统计等数据学科和类脑科学是一件十分有意义的事情，但是实现起来还是有很大难度的。林宙辰教授认为，联系的紧密与否需要相对地来看。相邻的两个领域联系紧密，但是传得远了就不紧密了。人工智能领域存在某些链条，链条相邻的上游和下游联系得紧密，链条上离得远的以
109、及链条之外的领域联系就不紧密。比如统计机器学习计算机视觉多媒体信息检索等。上游领域的突破往往会极大地促进下游学科的发展。另外，这个紧密性是动态的，比如计算机视觉和自然语言处理之间是在深度学习兴起之后才紧密联系在一起的。张志华教授认为，目前人工智能主要还在机器学习的范畴里。要想有一个大统一的理论，建立一个大统一的模型是很值得期待的。而要想建立一个大统一的模型，那么首先要从数学上定义什么算智能，就像信息论里的熵一样。王涵教授认为，机器学习的理论方法目前在自然科学里发挥着越来越重要的作用，机器学习也能够解决自然科学里建模遇到的各种各样的困难。但是自然科学领域建立的模型，由于要满足各种各样物理约束，和
110、机器学习常用的模型存在着较大差别。这会给机器学习领域带来各自各样的问题和需求。人工智能的数理基础论坛3435问题四：当前人工智能的理论研究存在哪些主要困难？明平兵教授认为，维数灾难是一个很重要的具体问题。从抽象的角度来讲，如何从一个数学的角度来严格形式化人工智能的问题是很困难的。文再文教授认为，我们可以用的数学工具太少，可能是因为人工智能领域太年轻了。正如20世纪初的物理学一样，后来引入了更多的数学工具取得了十分迅速的发展。邓柯教授认为，我们目前缺少一个整体性的框架。目前我们研究的范式就是最小化一个目标函数。但是如果这个问题具有很复杂的不确定性，只是最小化目标函数难以捕捉到这些不确定性。我们可
111、能在用一个简单的方法来解决一个复杂的问题，故而缺少一个切中要害的理论框架。林伟教授认为，我们目前对非凸优化了解的不够多，如何做非凸优化的算法的泛化性的理论保证还缺乏一个统一的手段。另外一个角度是符号主义和机器学习结合的问题。数理逻辑之间的关系是严格的，确定的。但是在不确定性的影响下，因果关系不总能传递。那么我们只能从一个整体的角度来研究它们之间的关系。邓柯教授认为，不确定性会导致十分深刻的变化，但我们缺乏有效的方法和手段分析它。林宙辰教授认为，我们能用的数学工具还是不够多。从牛顿发明微积分以来，我们都是从局部出发来研究问题。但是每个局部都分析得很好，不代表整体也能分析得很好。唯一的一个从整体角
112、度研究对象的学科可能是统计力学，统计力学是一个整体性分析的代表性例子，它引入了全局的变量，如温度、压力，进而分析整个系统状态的变化，而不是去跟踪每一个粒子的微观状态。这给我们一个启发，就是能否定义一个智能系统的全局参数，然后研究系统整体的性质。张志华教授认为，现状的理论发展还是很丰富的，但是大家对理论不够满意的原因可能在于理论对于实践的指导还不够好。现在有一个新的思路是说，统计和优化之间需要重新看待。之前优化只是统计的一个工具，用来取得全局最小值。但是现在优化不仅仅只是一个计算工具，而更像是一个方法论。那么从这个视角来研究问题或许能取得一些进展。王涵教授指出了一个新的问题。目前机器学习模型落地
113、的时候用的数值的精度都是很低的。之前科学计算的数值精度都是64精度，但是现在单精度都不够，甚至是半精度或二值的。在这种近似下，已有的数学理论是很难指导调参的。这个时候由于精度不够产生的误差怎么建模、怎么分析，可能是一个值得研究的问题。References:1Wang,T.,Berthet,Q.andSamworth,R.J.(2016).Statisticalandcomputationaltrade-offsinestimationofsparseprincipalcomponents.TheAnnalsofStatistics,44(5),1896-1930.2
114、Bousquet,O.andElisseeff,A.(2002).Stabilityandgeneralization.JournalofMachineLearningResearch,2,499-526.3Yang,Y.(2005).CanthestrengthsofAICandBICbesharedAconflictbetweenmodelidentificationandregressionestimation.Biometrika,92(4),937-950.4Duchi,J.C.,Jordan,M.I.andWainwright,
117、收敛速度要好很多的。这说明机器学习方法用到了传统统计没有假设的特征。我们可以从新的视角来分析经典统计所作的假设。从中观的层次来讲，怎么把数据驱动和知识驱动结合起来，怎么把大规模的知识表示和数据信息结合起来，这都是人工智能领域未来发展的一个重要方向。在更宏观的层次上，把以算法为核心的人工智能和类脑科学、神经科学方面的研究结合在一起。可以畅想未来某一天神经科学和类脑科学取得了重大突破，让我们更本质的理解大脑的运转机制，这一定会对我们算法为核心的方向产生巨大的影响和推动作用。宏观尺度上虽然能保持乐观的期待，但是在微观和中观尺度我们还是能作出一些工作来推进统一理论的发展的。林宙辰教授认为，我们想要统一
118、人工智能，首先要定义什么是大统一、我们要统一什么？在物理学中，人们要统一的目标是十分明确的，就是统一四种作用力。那么在人工智能领域，我们要统一的目标是什么呢？只有把要统一的东西用数学表示或者严格地定义出来，我们才会有建立起统一理论的希望。事实上，物理学的大统一理论也是在各个小领域之间统一的基础之上才逐渐明确的。那么我们也可以先在人工智能各个小领域之间做好统一工作，大家先在较低层次上建立起一个共识。其次，如果要提出一个统一理论，那么就要有一个人或者一个团体把人工智能的各个方面都了解清楚，但目前来讲这是不可能的。从抽象的意义上，我相信大统一理论是一定存在的，因为我们的大脑就是明证，只是我们要把大统
119、一理论给构造出来，这个难度很大。问题三：现阶段/将来有必要追求人工智能的大统一理论吗？林伟教授指出，人工智能最开始是基于符号主义的，而现在大家是基于数据去做机器学习，但基于数据的机器学习很难去做一些常识的推理，所以大家会想往符号主义回归，把符号主义好的东西融合进机器学习里来。因此他提出：机器学习有关的理论和符号逻辑有关的理论能否建立在一个统一的框架中？另外，各个领域之间能否存在一个公共的“语言”，例如邓柯更倾向于贝叶斯学派，林伟偏向频率学派，但是他们之间可以通过Bernstein-von-Mises定理建立联系。林宙辰教授认为大家对“理论”的定义并不一样。林伟所指的理论是“是否存在一个共同的证
120、明的模式”，但林宙辰认为他所倾向的“理论”应该具备演绎功能，即能否通过演绎把整个理论推导出来，是否能够预测一些新的现象和指导我们的实践。前者是从表象的角度来考虑，而后者是从方法论的层面考虑。张志华教授认为，符号主义和基于数据的机器学习理论之间并不矛盾。如果是简单的问题，是可以通过符号主义来解决的，但是对于复杂的问题会存在类似于维数灾难的现象，使得利用符号主义的方法不可行。后来的基于数据的连接主义可以说是对符号主义的一个近似，这样我们就可以来把问题解决。但是如果某一天计算复杂度不需要考虑了，我们完全返回符号主义。所以这个问题本质上还是如何克服维数灾难。关于统一理论，如果我们可以把智能用数学语言定
121、义出来，就像信息论里的熵一样，那么我们就可以通过最大化“智能”来设计算法，进一步把这个最大化智能的算法的稳定性、可解释性等全部解决了。但是目前我们的目标函数还是最小二乘或者交叉熵，但是最小化距离不代表最大化智能。我们说的人工智能其实最关心的是算法。王涵教授认为，如果我们给一个智能体一些基本的知识，那么它能否自己做归纳、实验，乃至于重现人类目前的知识体系，甚至发现新的知识。这个或许就是对智能的终极检验。人工智能的数理基础论坛3637智能体系架构与芯片论坛智能体系架构与芯片论坛智源研究院“智能体系架构与芯片”重大方向的核心目标为：从整机、编程、芯片、方法四个方面探索智能计算系统的发展，研究开源智能
124、团队综合“通用计算”+“通用近似”编译，在pytorch基础上搭建同时支持深度脉冲神经网络和计算神经学脉冲神经网络仿真的开发框架。该框架具备软硬件去耦合的网络编译功能，并正在进行与之适配的完备的可重构硬件平台开发，可以为类脑硬件计算提供高效的开发与运行环境。报告二：从“事后分析”到“实时决策”：第四范式机器学习数据库设计理念与落地实践郑曌|第四范式副总裁第四范式副总裁郑曌指出随着计算机计算能力越来越强劲，如何应用该优势从海量数据中挖掘规律赋能不同的产业和场景，以充分发挥数据的价值是第四范式的初衷。前三个范式主要是人寻找规律，但是其存在处理数据能力有限、无法实时响应及数据科学家稀缺的不足，而第四
127、。目前我国优秀处理器芯片人才储备严重不足，加快处理器芯片人才培养规模与速度，迫在眉睫。而构建开源芯片生态，降低芯片设计门槛，是一个可行的解决之道。包云岗希望通过“三步走“的规划，在中国构建开源的芯片生态：从最开始尝试采用开源模式，研制标签化原型芯片；到后面成立开放指令生态联盟；再到启动一生一芯计划，包云岗在开源芯片的道路上越走越远。包云岗认为，开源芯片并不是简单地开源代码，其本身包含三个层次：开源的开放指令集、处理器微架构设计/实现，以及设计流程/工具，里面蕴含着很多的创新机会。包云岗同时介绍了中科院计算所在开源芯片实践方面做的许多工作，包括开源RISC-V处理器核与设计流程、开源EDA工具与
128、云平台、探索芯片敏捷设计开发流程等。团队的最终目标是构建开源芯片的生态，将开放指令集、开源EDA工具链、敏捷模拟仿真验证等要素集成到一起，为开发者提供具有90%基础功能的集成开发平台。通过开源芯片与敏捷开发，达到降低芯片设计的人力、EDA以及IP成本的目的。报告四：ReRAM存内计算加速器的设计挑战孙广宇|北京大学副教授，智源青年科学家北京大学副教授孙广宇对基于ReRAM存内计算加速器面临的设计挑战进行了详细阐述。（1）AI计算算力提升的主要瓶颈之一在于访存带宽不足、访存能量高，也就是存储墙问题，而基于ReRAM这一新型材料的存内计算能够缓解这一问题；（2）虽然ReRAM本身是一种密度高、低功
129、耗的器件，但是其外围电路的开销很大。无论是面积开销还是功率开销，都主要来自模数/数模转换、缓存及互连电路；（3）ReRAM本身面临着误差和噪声问题，包括写入误差、热噪声、随机电报噪声等等。一方面，需要通过设计优化尽量减少噪声的影响，另一方面，可以考虑将存算电路与贝叶斯网络等结合，将噪声的影响变废为宝。针对上述问题与挑战，为了追求精度、能效、面积与可靠性的设计权衡，我们需要从应用层、架构层、电路层和器件层多个层面进行综合考虑，从而能够实现计算性能的提升，也能够减缓数模/模数电路的开销。此外，无论是做架构设计还是做器件、做应用，都需要统计分析和仿真等工具的支持。通过对真实计算数据进行统计分析有助于
130、了解其运算分布、数据分布以及对噪声的影响，再借助于器件级、电路级和架构级模拟进行各个层次的仿真，能够显著地提高存算加速器的效率。报告五：面向人工智能芯片的张量编译优化翟季冬|清华大学长聘副教授，智源青年科学家清华大学副教授翟季冬在报告中首先分析了面向人工智能芯张量编译的研究现状，包括手工编写底层算子库、基于计算和调度的半自动张量编译以及基于多面体模型的自动张量编译。并总结了当前张量编译优化面临的主要挑战：（1）如何把复杂多样的人工智能应用准确地传递给底层编译器系统；（2）如何在具有复杂硬件特征的人工智能芯片上快速生成高效的执行代码；（3）如何对上层应用和下层硬件进行准确抽象，构建全面而高效的求
131、解空间和优化目标。智能体系架构与芯片论坛3839智能体系架构与芯片论坛智能体系架构与芯片论坛最后重点介绍了课题组在张量编译方向的最新研究进展，基于张量变形和局部等价的张量编译优化。该研究成果发表在OSDI2021上。不同于现有工作在张量的内存布局上只考虑了不同维度间的顺序，如矩阵的行优先和列优先，四维张量的NCHW,NHWC等，该工作提出了张量变形的概念，打破了张量维度间的限制，使得数据可以在张量的不同维度间进行转移（如将N维度的数据转移到W维度）。同时，该工作充分结合的张量程序的应用特征，即张量中往往包含成千上万个元素，提出了局部等价优化的概念，即在优化后只需要保证大部分的元素是正确的，再
132、对少部分的元素进行修正。相比于现有工作都仅仅考虑完全等价的优化，该工作极大的扩展了张量程序的优化空间。为了实现上述优化，翟季冬副教授的团队实现了PET系统，主要由程序划分、局部等价变形生成器、局部等价变形纠错器和代码生成优化四部分组成。实验结果显示，相比较于Tensorflow、Tensorflow-XLA、TensorRT和TASO，PET在常用的DNN模型上可以取得高达2.51倍的加速比。此外，针对DNN中常见的几个算子，PET通过与cuDNN/cuBlas，TVM、Ansor结合，可以达到最多2倍以上的加速比。由于张量形状对算子的执行效率有着显著影响，该工作通过引入张量变形与局部等价优化
133、，能够有效地扩大张量程序的优化搜索空间，并通过不等价变换找到更多优化机会实现显著的性能提升。报告六：基于新型神经形态器件的类脑神经网络蔡一茂|北京大学博雅特聘教授，智源研究员北京大学特聘教授、智源研究员蔡一茂，对人工智能对芯片需求进行了分析，针对面向深度学习、脉冲神经网络等应用的芯片架构和集成电路器件遇到的重大挑战，从神经科学和微电子学等交叉领域的角度，汇报了基于新型神经形态器件的类脑神经网络的研究进展。首先，针对人脸识别算法应对环境光变化的鲁棒性差的问题，蔡一茂提出了利用忆阻器件模拟生物视网膜中的电突触回路，使得忆阻传感器可以对静态图像的光进行自适应预处理，使得在不需要改动算法的情况下，提高
135、来电路设计和制造难度的急剧增加；另外也不应增加算法映射的复杂度或者挑战，这样才能是得更多的智能学习算法可以便捷地应用部署在新型类脑芯片上，而不需要对智能学习算法和数据进行大规模改动，可以获得更鲁棒更高效的智能芯片和系统。高算力AI芯片：使用前沿的设计与领先的工艺，形成了高密度的运算单元，大容量的片上高速缓存。高性能分布式软件栈：集成自适应精度算法，成功突破芯片功耗墙，兼顾高性能和高精度。高速芯片互联与组网技术：横向纵向扩展形成超大规模集群，多机多卡间高速通讯。大规模分布式算力调度平台：细力度分布式调度技术与策略，灵活高效使用海量算力。寒武纪与智源研究院合作的CPM项目中，寒武纪的高性能人工智能
136、计算技术方案，体现出了极强的性能。在CPM大规模分布式训练的多项测试中，与国外的训练产品相比，在同等精度下，寒武纪高性能训练产品方案取得了1.2倍到1.8倍的性能优势，加速实现了高精度CPM中文预训练算法。寒武纪的一整套技术方案，有力的推动了中文通用人工智能的突破，形成了通用人工智能底层基础架构，通过不断的迭代发展，可以持续突破摩尔定律限制，以50倍摩尔定律的增速，驱动通用人工智能技术的发展。圆桌论坛：GPT-n需要什么样的智能计算系统？主持人：郭崎|中科院计算所研究员，智能处理器研究中心副主任嘉宾：包云岗|中科院研究员，智源研究员张悠慧|清华大学教授，智源研究员郑曌|第四范式副总裁
137、王在|寒武纪联合创始人、执行总裁现有的人工智能预训练模型呈现规模快速增长的趋势，去年发布的GPT-3系统高达1700亿参数，今天上午刚刚发布的悟道2.0模型规模十倍多于GPT-3，参数量高达到1.75万亿。在本次圆桌会谈上，主持人郭崎和嘉宾包云岗、张悠慧、郑曌、王在共同探讨了下一代GPT-4、GPT-5甚至GPT-n需要什么样的计算系统？各位嘉宾就当前大规模预训练模型面临的挑战和如何从计算，设计等层面设计GPT-n系统发表观点。当前大规模预训练模型对算力系统的挑战。王在认为目前大规模预训练模型对系统的内存和运算有较大的冲击，需要搭建更大规模的、通信效率高和容错程度高的训练集群。包云岗提出可
138、以借鉴芯片领域的的发展经验，在通用研究上遇到瓶颈时可以考虑针对具体场景设计专用模型。郑曌的观点是企业需要平衡好业务效果和模型性能之间的关系，并做好容灾系统。张悠慧认为可以从设计新型器件、电路、架构，借鉴类脑科学研究成果的角度来设计新一代智能系统。如何降低系统能耗。王在提出可以在底层进行优化，在应用层对一些场景使用低精度数据存储，在系统设计层设计一个可拓展、易调度的系统降低功耗。包云岗认为需要减少数据移动，使用如光学器件等新型器件来降低系统能耗。郑曌补充道，需要对系统在算法和模型层面进行优化，同时要减少数据拷贝。张悠慧认为需要协同算法、编译、硬件层面的感知来减少能耗。如何为下一代GPT设计分布式
139、训练系统。张悠慧认为在服务器的分布设计上可以借鉴IOT（物联网）的技术进行研究。郑曌提出需要考虑模型并行，设计一个高吞吐的参数服务架构。包云岗认为超算中的很多技术对于分布式的机器学习有借鉴意义，未来的机器学习系统的分布互联能力有机会达到超算的水平。王在认为应设计合理的数据通信机制，让数据通信尽量在同一个节点内进行，同时要避免数据链路的拥堵。如何让终端智能设备能支持大规模模型。王在认为短期内在终端支持大规模训练较难，寒武纪主要在芯片中设计了专门的训练单元来提供支持。包云岗举了“东北野生动物大规模拍摄识别系统”的例子，提出企业在面对实际需求场景时需要快速提出解决方案，要做好技术储备。郑曌认为在终端
140、设备的使用场景中，不仅要面对碎片化场景，还会受限于数据传输环境，需要在终端上布局良好的体系架构，能够独立完成全生命周期的人工智能任务。张悠慧补充总结道，未来的人工智能系统要拥有局部的自适应微调能力，这种能力可以通过考虑通过设计新的算法和新的器件来实现。（整理：王光华、任黎明、李明、沈林杉、赵言、李中梁）报告七：面向人工智能芯片的张量编译优化王在|寒武纪联合创始人、执行总裁随着深度学习的应用，人工智能技术在图像，自然语言处理，语音等领域取得了长足的发展。毫无疑问，接下去需要攻克的技术热点方向是接近人类智慧的通用型人工智能技术。近几年，学术界和业界在通用人工技术领域，也取得了一定的进展。以Tran
141、sformer网络结构为基础，发展出来的BERT，GPT-3等模型可以实现一定的通用型人工智能任务。这类算法的特点是采用无监督或半监督训练方法，可以使用海量无标注的互联网数据训练，模型参数量大，运算量大。通用型人工智能技术，对算力需求的趋势以50倍的摩尔定律的速度增长，当今，在通用人工智能技术领域，已经受制于底层芯片和核心软件技术。针对通用人工智能领域，寒武纪研制了一系列的软硬件尖端技术，形成大规模分布式训练解决方案，以应对算力需求的超高速增长。满足超大模型的算力需求和软件支撑。4041预训练模型论坛预训练模型论坛报告一：全球最大万亿模型的构建唐杰|中清华大学教授在研发超大规模预训练模型的过程
143、能精度，团队需要针对大模型的已有算法（如Transformer）进行改进。例如，悟道团队在GPT-3基础上，自研FastMoE等算法架构，在原有Transformer架构基础上进一步突破，超越国际已有算法的性能和精度。在大规模模型并行计算加速方面，大模型依赖定制化的模型和数据并行方法，实现万亿参数规模的加速训练。报告二：像孩子一样学习：第二代文澜多模态预训练模型文继荣|中国人民大学教授，智源首席科学家智源研究院“智能信息检索与挖掘”首席科学家、中国人民大学教授文继荣表示，研发大模型能够帮助团队探索智能形成的机理，并寻找可以实现通用人工智能的具体路径。在研发悟道文澜模型的过程中，团队提出了“像孩
144、子一样学习”的发展目标，通过给模型提供多模态数据的方式，让模型像孩子一样逐渐获得智能能力。在研究大模型内部智能形成机理过程中，团队发现多模态数据帮助模型形成了“图-文”对应的概念理解能力，如“黄河入海流”文本能够引导模型产生“山川”“河流”等概念，为团队进一步探索多模态预训练方法，构建多模态数据集，以及理解大模型内部智能形成的机制机理提供参考。中国人民大学卢志武教授介绍了基于这种思考研发的6.5亿通用图文对+BriVL-2的双塔模型，中国人民大学金琴教授介绍了能够用于7种语言的多语言多模态的单塔模型。这些模型目前已经达到应用落地的程度，包括AI心情电台（给定图片配一首音乐）、布灵（纯跨
145、模态检索）、只言片语AI版（图文匹配的图灵测试）等。报告三：CPM-2：面向预训练模型的全流程高效计算框架刘知远|清华大学副教授，智源青年科学家清华大学副教授刘知远指出预训练模型规模近年来迅速增长，计算效率成为制约大模型训练与应用的主要瓶颈。为此“悟道.文源”团队针对词表构建、模型构建、模型预训练、下游任务微调和推理应用等关键步骤，建立了“CPM-2：面向预训练模型的全流程高效计算框架”，关键技术包括：(1)提出具有字形和字音特征的中文编码技术，兼具高效编码和抗噪音特性；（2）提出全双曲表示Trans-former架构，仅用一半参数即可达到欧氏空间模型效果；（3）实现基于DeepSpeed的流
146、水并行，发布支持任意深度学习模型3D加速的TDS工具包，提出知识继承KI的高效预训练技术，训练速度提升37%以上；（4）提出基于少样本对比学习的微调技术CSS-LM，主持人:唐杰|清华大学教授报告四：规模多模态预训练模型M6研发实践与落地应用杨红霞|达摩院智能计算实验室资深算法专家达摩院资深算法专家杨红霞在回顾超大规模多模态预训练模型的发展及M6模型在手机淘宝应用中发现，推荐系统目前存在如何迅速解决冷启动的难题。而多模态预训练万亿参数模型，通过学习泛内容可以够较精准地将商品或短视频推荐给用户，进而解决冷启动问题。该模型主要包括：（1）GreenAI（在有限资源中训练大量模型）；（2）文到图的生
147、成（预训练模型赋予AI创造能力）；（3）M6模型框架（基于自注意力的Transformer模块）。谷歌研究表明万亿参数模型最核心的问题为MoE负载不均衡，而杨红霞通过研究发现万亿参数模型的核心问题为激活专家个数及其capacity，并且激活个数与模型效果成线性关系。但是激活个数的增加会使大规模多模态预训练模型的部署（显存）难度急剧升高，导致下游任务结果较差的难题，针对此挑战，杨红霞提出基于AuxiliaryLoss的Expertprototyping方法，实证研究结果表明了该方法具有较低的loss值和较优的收敛速度。在文本到图像生成能力方面，杨红霞提出Non-Autoregressive方法
149、参数模型推理任务。在该计算框架支持下，团队利用50TB大规模数据和智源算力平台制作发布了CPM-2模型（包含110亿稠密模型和1980亿MoE模型），兼具中英文语言的理解和生成能力，在识记、阅读、分类、推理、跨语、生成、概括等七大机器语言能力测试中，与现有开源预训练模型相比整体性能显著最优。报告五：认知预训练的新进展杨植麟|循环智能联合创始人，智源青年科学家智源青年科学家，循环智能创始人杨植麟在报告中介绍了文汇发布1.0版本至今，团队做出的各项改进，以及取得的新突破。在1.0的版本中，文汇实现了更通用的大型预训练模型，并能将知识融入到模型中。本次的2.0版本取得了更多突破，分别是：（1）少样本
150、学习，（2）鲁棒性，（3）通用性，（4）跨模态。团队提出了FewNLU，结合了FlipDA/P-tuning等方法，实现了在鲁棒的前提下，在三个任务上少样本学习取得与全样本系统相似的性能。跨模态方面，通过提出的CogView架构和训练方法，文汇2.0做到了生成和理解的一体化和不同任务的统一化，并用很多技巧避免了训练过程中的不稳定性，在很多数据集上取得了SOTA结果。文汇从1.0到2.0取得的进展，从易到难，一步一步突破。使得模型能够做到在真正复杂场景下实现应用，并提升了生成理解统一化的思想。同时，团队开发的增广和训练框架是当前在多种困难场景下唯一有效的方法，并在多项任务上取得最优。杨植麟表示，
151、团队接下来还会继续在这个方向前进，实现更强的认知能力。报告六：FastMoE和蛋白质预训练的新进展裘捷中|清华大学博士生清华大学裘捷中博士等人通过实验证明，在预训练模型规模越来越大的过程中，MOE结构存在的一些问题（比如过载）影响了模型训练。例如训练时有的expert负担是平均负载的15倍，这容易导致显存溢出。针对这一现象，裘捷中等人提出了FastMoEv0.2，通过添加负载均衡模块、专家工厂模式、兼容国产超算、支持半精度等操作缓解了超大模型训练问题。在演讲中团队展示了由其训练的1.75万亿模型的文本续写能力，逻辑性和流畅性较好。同时裘捷中等人还发布了ProteinLM模型，这是一个基于M
152、egatronLM实现的蛋白质预训练框架，拥有30亿参数和24层Transformer，在TAPE的32M条蛋白序列上训练，在以Contact预测为首的蛋白结构/功能预测任务上效果优秀。两部分的工作都深有影响，FastMoE后续会探索更多负载均衡策略和进行更大模型训练，目前已经在阿里平台部署，并将探索在支付宝智能化服务体系中的应用。ProteinLM将探索MSA的蛋白质预训练以及与ESM，ProtTrans模型比较，并将模型应用于蛋白质折叠。预训练模型论坛作为走向强人工智能的一条可行路径，在最近两年内预训练大模型的研究如火如荼。智源研究院在这方面发布的最新工作“悟道2.0”目前已经处于全球领先
154、团副总裁，人工智能研究院及搜索事业部负责人卢志武|中国人民大学高瓴人工智能学院教授第25期AITIME论道在智源大会“预训练模型论坛”展开，此次活动特别邀请了中国人民大学高瓴人工智能研究院教授卢志武；阿里巴巴达摩院智能计算实验室资深算法专家杨红霞；360集团副总裁、人工智能研究院及搜索事业部负责人邓亚峰；清华大学长聘副教授黄民烈；美团NLP中心负责人武威；活动由智源研究院成果转化部投资总监李文珏、AITIME负责人何芸主持。自BERT发布以来，预训练模型大放光彩，各种变种层出不穷，研究的方向也多种多样。预训练模型规模近两年来以每年约10倍的速度增长，计算效率成为制约大模型的主要瓶颈。在此
156、威认为高质量的痛点是可解释性，知道模型什么时候犯错，可以极大地拓宽模型的应用场景。邓亚峰首先梳理了大规模预训练模型的发展，认为各大机构的思路、基础组件在趋同，大家找到了一个主方向并向其迈进。问题：大规模预训练模型在产业中有哪些落地的场景？是否有激发新产业的可能？就落地场景而言，未来大规模预训练模型需要在哪些方面探索或提升？现在讲大规模预训练模型通常是指千亿级的模型，但是产业界的模型通常在几十亿规模上，并已经有很多的应用场景，如搜索、推荐等。邓亚峰介绍了自己的亲身经历，并指出千亿级的模型距离实用还是存在差距，因为产业界要考虑效率和投入产出比，他期望（1）打破现有的产品的架构，使架构更简单、更数据
157、驱动；（2）大规模预模型变成AI的基础设施。杨红霞表示多模态预训练模型在手机淘宝、支付宝已经开始落地，在产品推荐中特别是冷启动中的效果非常好，并且在时尚设计上已经产生了变革。卢志武建议借助大规模预训练模型去创业，可以尝试寻找新的方向，重新生长，如虚拟主播就是今年的投资人追捧的热点。黄民烈认为大规模预训练模型可以替换一些看起来有门槛但没有那么复杂的事情，如设计LOGO等。现阶段大规模预训练模型进行商业落地要考虑：（1）可控性；（2）模型的小型化、绿色化、经济化。问题：在模型训练过程中如何确保数据真实有效又保护隐私？黄民烈认为这方面工作还比较少，并举例指出数据会给模型训练带来挑战，因为模型会记录数
158、据，一些攻击方法可以把数据集重新抽取出来，这也是很新的研究方向。邓亚峰指出传统上认为只要获得一个群体统计意义上的信息而不暴露个体的信息就不会有隐私的问题，在这种情况下，联邦学习可以很好地保护隐私。但是深度模型提出了更大的问题，因为它可能记录并输出预料中的信息，面对于这种情况，邓亚峰认为可以在产品设计、运营中采取一些可行的方式。杨红霞认为大家可以考虑端云协同，思考ModelOverModel的范式。问题：大规模预训练模型是否是实现通用人工智能的必由之路？还有多远？卢志武表示，大规模预训练模型是实现通用人工智能很重要的一步，在模型中可以看到AI已经觉醒。黄民烈认为通用人工智能目前还没有准确的定
160、知识时代，她认为大规模预训练模型可以具备推理、创新能力，这是下一代AI应该具备的能力。武威简单梳理了NLP的研究历史，并指出不同的流派有不同的方法，而大规模预训练模型用一个模型把这些事情都解决了，从这个角度来看，大规模预训练模型已经有了一定的通用人工智能的能力，但如果提高标准，大规模预训练模型离通用人工智能还很远。（整理：贾伟、德周、刘知远、任黎明、周寅张皓、翟珂、AITIME）4445AI科技女性论坛AI科技女性论坛圆桌论坛李涓子|清华大学计算机系教授贾珈|清华大学计算机系副教授冯洋|中科院计算所研究员刘世霞|清华大学软件学院副教授史元春|清华大学计算机系教授宋丹丹|北京理工大学计算机
162、发讲述了自己的工作如何促进了万维网的诞生。早在硕士期间，她为了学习第二语言用Prolog编程开发了一个智能系统。1984年，Wendy回到南安普敦大学加入新成立的计算机科学小组，致力于多媒体和超媒体领域。她的团队发明了Microcosm超媒体系统(在万维网出现之前)，这个系统中的各种链接保存在数据库中，点击就可以查找到对应的多媒体资源。她的工作对现代互联网的发展具有很重要的意义，构建了当今互联网的雏形。在1999年的一篇论文中，Wendy提出了associativelink的概念，指的是信息元素之间语义关系的实例化。语义关系可以是简单的某个概念的“定义”，也可以是更加复杂的东西。万维网最
163、初追求的是一个互相链接的超文本文件系统，这些文件通过浏览器来查看。随着万维网的发展，人们希望机器能理解和集成万维网上的数据。语义网是W3C进一步发展万维网的愿景，它提供一个公共框架，使得数据的共享和复用可以跨越应用系统、企业和社区的边界。2006年，Wendy与几位计算机科学家一道，成为网络科学研究计划(WSRI)的创始人之一，也就是如今的WebScienceTrust，旨在协调和支持万维网的研究。Wendy认为，互联网是历史上最成功的信息架构，它包含很多通信和传输协议，通过这些协议各种复杂的信息得以在全世界范围内传播。正像许多其他学科一样，在人工智能领域，有无数的女性留下了自己的身影
164、，为人工智能的研究带来不一样的色彩和温度。“AI科技女性”专题论坛从女性视角出发，聚焦女性科学家的职业发展以及人生选择，勾勒了当代女性AI研究者的研究风貌。其中WendyHall从个人经历出发讲述了万维网的早期历程，清华大学计算机系教授史元春、清华大学软件学院副教授刘世霞、中科院计算所研究员冯洋、北京理工大学计算机学院教授宋丹丹、中科院计算所研究员徐志伟，以及工业界代表镁佳科技庄莉等就职业道路选择、科研人员如何平衡事业与家庭、学术界和工业界的区别、AI人才培养中男女比例等问题进行了深入探讨。对于刚入行的女性AI从业者，史元春教授提出，CS人要与时俱进，不要一辈子吃老本儿。计算机专业的特点就
169、16年“一门必修课+两门综合实训课+多门选修课”的人工智能专业方向培养，到“X+人工智能专业”的人工智能创新特色班，最后到“建设人工智能学院、增设人工智能新专业”的学校经历，并总结出从把人工智能作为“方向模块课培养”，到“X+人工智能”专业方向建设，最后打造“人工智能新专业”的AI人才培养三阶段。同时王院长着重强调百度与大连理工大学在校企共建方面的合作：参与百度深度学习师资培训、基于百度飞桨开设系列课程，签订人工智能人才培养协议，并在近期双方联合开展电类创新实践创意大赛。“计算+”时代的到来，让社会面临人才缺口的现状，未来百度与大连理工大学将继续深入合作，助力人工智能教育。报告二：人工智能在中
171、百度提供免费的师资培训，培训每年都有新的东西加进来。在算法上，使用飞桨深度学习框架以后，即可以从底层开发深度学习算法，也可以使用高度封装的PaddleHub或PaddleX来降低学习和应用难度。算力、算法、数据和项目案例被有机整合到了AIStudio这个平台上，开设人工智能课程所面临的的各项困难都得以解决，为开设人工智能课程铺平了道路。基于Aistudio平台开展的理论+小组实践+班级竞赛的模式激发了学生的兴趣，在课程结束后，学校举办了第一届数据分析大赛，学生可以自选作品提交，也可以做指定的案例。其中有一个学生，就选了中药材识别领域，爬取了70类中药材搭建了模型，还做出了小程序，效果非常好
172、，当时获得了全校的唯一一个一等奖。这门课确实给学生带来很大的提升，学生学习完课程后，学生还参加全国的比赛，拿了全国的二等奖，收获也是很大。AI人才培养论坛报告三：产教融合培育人工智能创新人才刘倩|百度AI技术生态部总经理百度AI技术生态部总经理刘倩从产教融合角度畅谈了企业与高校如何共同培育人工智能创新人才。从诸多实际产业案例以及社会发展趋势中得知，目前业界最急需的是既懂AI技术，又懂应用场景的复合型AI人才。从这个角度来看，培养人工智能人才，更加需要高校和企业一起努力，校企合作、产教融合。根据高校需求，百度在5月20日正式发布了AI人才产教融合培养方案，从内容、服务、专项合作等方面，提供全方
173、位、立体化的内容和服务支持。同时，百度提出了“大航海”计划，未来3年，在高校合作、产业落地、师资培训、联合培养等方向投入更多资源，最后，也希望与高校一起携手努力，为未来科技自主创新，一起贡献自己的力量。报告四：人工智能人才培养要从娃娃抓起：我国人工智能人才培养思考徐俊刚|中国科学院大学计算机科学与技术学院教授、博导如何加快人工智能人才培养？如何应对中国人工智能产业变革和升级？中国科学院大学专业学位培养指导委员会委员，计算机学院教学委员会秘书长，深度学习课程首席教授徐俊刚针对这些问题的探索大概分为以下几方面：一方面要把人才分层次，不能所有的人才都去做算法工程师。需要自动机器学习算法工程师，给A
174、I应用开发工程师赋能，同时和算法工程师进行交流合作，共同把AI的应用支撑好。此外，需要产学研结合，学校和科研机构跟产业界紧密结合起来。学校可以和科研机构做科教融合，产业界给科研机构提供一些应用场景，高校和产业界可以共同进行人才培养和应用结合。怎么样能够培养孩子人工智能思维呢？首先要学习数理思维，还要培养人工智能思维，培养的时候可以采用寓教于乐的方式，比如采用漫画的方式给孩子讲解人工智能的知识点。希望从事AI的老师，产业界的朋友们，能够为孩子们，为AI的人才培养做一些事情。先做一些中小学的教材；产业界朋友们如果有兴趣可以建立一个平台，长远来说可以建立一个生态，为青少年和AI人才培养贡献出我们的一
175、些力量。圆桌论坛：如何培养优秀的人工智能人才马艳军|博士、百度深度学习技术平台高级总监胡清华|天津大学智能与计算学部副主任、人工智能学院院长王宇新|大连理工大学计算机科学与技术学院副院长韩爱庆|北京中医药大学管理学院副教授徐俊刚|中国科学院大学计算机科学与技术学院教授（整理：赵斌）6月1日下午，由百度承办的“AI人才培养”专题论坛围绕如何培养优秀的人工智能人才，从多个角度进行探究。4849科学智能论坛科学智能论坛论坛主席:鄂维南-中科院院士，普林斯顿大学教授，北京大数据研究院院长报告一：MachineLearningBasedAb-initioMolecularDynamicsRo
177、LWF），实现对电子极化率的准确预测。将DPMD与MLWF结合，实现对铁电相变等特殊反应过程准确高效的模拟。以水作为测试案例，训练出能准确描述包括液态、过冷液态、玻璃态、晶态、有序多晶、无序多晶等多种相结构的水相图的深度势模型，覆盖温度范围02400K，压强范围050GPa。深度势模型已被成功用于多种材料体系，包括金属、半导体、分子体系；规则、表面、无定形体系；激发态、反应体系等等。深度势与DPGEN等数据库构建算法的结合，让第一性原理精度的大规模材料模拟成为可能。深度势的广泛应用将大力加速材料科学的发展。报告二：Scientificmachinelearningwithoutdata
181、络表示的无穷大海森堡模型，在1个GPU上得到的误差接近10-5，远优于用神经网络求解有限海森堡模型的精度；在统计物理领域，使用变分自回归网络解决玻尔兹曼分布的样本采集问题，与传统的平均场方法相比，归一化过程简单，采样过程清晰，且模型表达能力强；（3）最后，王磊总结了未来研究的挑战，包括寻求全局最优解；随机优化和确定优化的权衡；纠正变分偏差等。王磊将机器学习方法引入物理学领域，有效解决了不同尺度下数据集缺失的问题，并详细比较了“从数据学习”和“从模型学习”之间的差异，从物理学角度给机器学习的研究带来了新的见解。报告四：分子模拟的开源社区张林峰|北京大数据研究院研究员；北京深势科技有限公司首席科学
182、家当下科学计算面临两大问题：1）新一代的科学计算软件，适配迭代效率远高于从前，应用场景远宽于从前；2）科学计算需要大量算力，虽然新一代GPU、TPU云平台提供了大量的剩余算力，但科学计算算法和软件长期以来采取封闭式的开发模式，导致算法与基础设施的通配性差。为了解决这些问题，我们建立了DeepModeling开源社区。开源是一种去中心化协同开发、分布式同行评审的合作方式。通过这样的方式，调动包括科学计算、计算机科学等多领域专家的力量，推动科学计算的发展。在合作方面，我们已建立dpgen、rid-kit、dpti等科学计算工作流，实现流程化的机器学习势模型构建和性质预测。并建立了上下游计算引擎、算
183、法工具和相应的数据集散平台DPLibrary。在成果方面，2020年，基于深度势的分子模拟案例获得高性能计算最高奖项戈登贝尔奖。2021年，通过与百度飞桨合作，实现飞桨机器学习框架与DeePMD-kit的结合，及DeePMD-kit在ROCm硬件平台上的高效运行。2021年，正积极推进科学计算流程在云平台上的高效稳定部署。机器学习与物理建模的结合正在改变着科学研究的范式。那些希望通过计算建模突破科学边界、解决困难问题的人们正在以前所未有的新方式集结起来。DeepModeling社区致力于为他们提供了这样一个全新的协作平台。科学智能论坛过去十年中，人工智能主要战场发生在计算机视觉、自然语言处理、
184、游戏AI等领域，然而随着机器学习技术的广泛应用，传统的科学领域逐渐成为人工智能的主战场，“AIforScience”正在以及将要带动生物、化学、材料、工程甚至物理等学科进入一个新的发展模式。由中科院院士、普林斯顿大学教授、北京大数据研究院院长鄂维南主持召开的“科学智能”专题论坛中，普林斯顿大学教授RobertoCar、中科院物理研究所研究员王磊、中国科学技术大学教授江俊、北京大数据研究院研究员&北京深势科技有限公司首席科学家张林峰分别从各自的研究讲述了AI在传统学科中的进展。论坛最后由鄂维南等人对科学人工智能的现状与未来做了讨论。圆桌论坛：科学人工智能鄂维南|中科院院士，普林斯顿大学教授
185、，北京大数据研究院院长王磊|中科院物理研究所研究员江俊|中国科学技术大学教授张林峰|北京大数据研究院研究员；北京深势科技有限公司首席科学家王涵|北京应用物理与计算数学研究所副研究员，智源青年科学家5051科学智能论坛智能信息检索与挖掘论坛“AIforScience”是一个非常顶尖的话题，中国科学院院士、北京大学教授鄂维南认为中国在“AIforScience”方面是比较领先的，得益于国内优秀学者在凝聚态物理、量子物理，化学中多数据融合和开源社区建设所开展的研究，这也是未来非常重要的三个方向。各位嘉宾就如何建立更好的科研环境，如何建立中国自己的以原始创新为驱动力的科研机构和一条产学研
186、道路，进行了深刻的交流讨论。中科院物理研究所研究员王磊认为一个好的成果不是一个人能做出来的，需要具有不同科研背景的研究者相互结合起来。AlphaFold2算法的发明就是很好的例子，既要好的指挥也要每个人专注各自领域。中国科学技术大学教授江俊认为科研需要很好的生态，学科之间的交叉非常重要，很多复杂的系统不是单一学科能够解决的。项目各方参与者发表的论文并不是很重要，大家相互配合把问题解决才是最重要的。北京应用物理与计算数学研究所副研究员、智源青年科学家王涵认为科研环境的建立也是评价体系建立的问题，很多非常重要和有意义的事情在现有的评价体系里面，得不到很好的确认或者不能得到很好的激励，发表学术论文和
187、进行开源社区的建立都很重要，但目前对非论文的一些工作并没有很好的确认和评价，也没有更好的解决办法。北京大数据研究院研究员、北京深势科技有限公司首席科学家张林峰认为开源社区背后最主要的是礼物文化，而不是交换性质的激励，平衡与现有评价体系间的矛盾是比较重要的事情，以更好的激励个体创新。（整理：张林峰、江俊、孙晨、肖健）论坛主席:文继荣|中国人民大学高瓴人工智能学院院长，智源研究院“智能信息检索与挖掘”重大方向首席科学家主持人:窦志成|中国人民大学高瓴人工智能学院副院长，智源研究院“智能信息检索与挖掘”重大方向项目经理报告一：问答系统的一体方法聂建云|蒙特利尔大学计算机系教授聂建云教授是蒙特利尔
189、断文本片段中是否包含答案来训练检索器会带来很多噪声。聂建云教授详细讲解了他们为了解决这个问题而开展的工作：通过生成对抗网络（GAN）来融合搜索器和抽取器的，进而实现端到端一体化的问答模型。报告二：SparTerm：基于预训练语言模型的面向快速文本检索的词项稀疏表示学习方法刘群|华为诺亚方舟实验室语音语义首席科学家华为诺亚方舟实验室语音语义首席科学家刘群作了题为SparTerm：基于预训练语言模型的面向快速文本检索的词项稀疏表示学习方法的报告。基于词项的稀疏表示方法在效率，可解释性和精确匹配方面有很大的优势，因此在工业应用的文本检索中占据着主导地位。华为诺亚方舟实验室研究了将预训练语言模型（
190、PLM）的深层知识转换为基于术语的稀疏表示的问题，旨在提高用于语义匹配的词袋（BoW）模型的表示能力。具体来说，他们提出了一个新颖的框架SparTerm来直接学习整个词汇空间中的稀疏文本表示形式。SparTerm包含一个重要性预测器和一个门控控制器。重要性预测器将原始输入文本映射到整个词表上的重要性分布，门控控制器用来生成词项维度的二进制稀疏门控信号，指示哪些词项需要被激活，从而保证最终表示的稀疏性和灵活性。这两个模块根据输入文本与词汇表中每个术语的语义关系，共同产生基于词项的稀疏表示。SparTerm在MSMARCO数据集的评估结果表明其性能明显优于传统的稀疏方法，并且在所有基于PLM的稀
191、疏模型中均达到了最好的排名，同时在企业级实际应用中超越了原有的基于词项的检索模型。智能信息检索与挖掘论坛智源研究院“智能信息检索与挖掘”重大方向的核心目标为：围绕构建“个人智能信息助手”的关键科学和技术问题，联合北京地区高校和科研机构的优秀学者联合攻关，显著推进智能信息检索与挖掘的研究，逐渐形成该领域的“北京学派”。由智源研究院“智能信息检索与挖掘”重大方向首席科学家文继荣主导，该方向研究项目经理窦志成主持的“智能信息检索与挖掘”专题论坛中，蒙特利尔大学计算机系教授聂建云，华为诺亚方舟实验室语音语义首席科学家刘群，智源首席科学家文继荣、中科院计算技术研究所研究员郭嘉丰，中国科学技术大学大数据学
193、在环境，搜索的范围不应该仅仅是网页，而是生活中由更多模态构成的内容。搜索不仅可以在电脑上完成，还应该在手机上、穿戴设备、自动驾驶等环境中使用。文继荣教授系统讲解了在这三个方向上取得的初步成果：通过反事实学习来提升搜索和推荐结果的公平性和可解释性、交互式智能政务助手、大规模多模态预训练模型及应用。5253机器学习论坛智能信息检索与挖掘论坛论坛主席:朱军|清华大学教授，智源研究院“机器学习”重大方向首席科学家报告一：OpeningtheBlackBoxofDeepLearning:SomeLessonsandTake-awaysSanjeevArora|普林斯顿大学计算机科学C
194、harlesC.Fitzmorris教授普林斯顿大学计算机科学CharlesC.Fitzmorris教授SanjeevArora通过数学分析和实例验证，打开了深度学习理论的“黑盒”，对深度学习的复杂特性进行了详细的分析和阐释。过去十年里，深度学习迅速占据了人工智能和机器学习的主导地位，在图像分类等领域获得了极大的成功。但SanjeevArora教授认为，我们对于深度学习的认知仍然停留在“黑盒”阶段，这种简单的视角无法在其他复杂问题上设计出灵活的模型。（1）针对常见“模型结构+数据集+目标函数”的研究范式，SanjeevArora教授在常见机器学习数据集上设计“特殊结构”模型，如线性深
195、度模型、隐藏层为“无限”宽的全连接网络等，使用随机梯度下降指导模型训练。结果表明，“特殊结构”模型的性能优于常见机器学习模型。因此，SanjeevArora教授指出，模型结构、数据集、目标函数，不足以决定深度模型的表现性能，需要深入探索优化函数的动态特性。（2）针对GAN网络在训练过程中的模式坍塌问题，SanjeevArora教授设计了基于“生日悖论”的实验，证明了问题的原因不在于训练样本的数量，而在于辨别器的大小。因此，SanjeevArora教授指出，在目标函数在深度网络的训练上可能无法达到预期，在执行多目标和多模型任务时需要特别注意。（3）针对大规模语言模型，SanjeevAro
196、ra教授从数学角度进行建模，分析大模型可以在下游任务上获得好的效果的原因。常见的下游任务，多为分类问题，如情感倾向等，可以被投射为对下一个词的预测任务，由此将词嵌入与预测概率关联，很好地发挥了大模型的性能。SanjeevArora教授阐释了深度模型的性质来自于模型结构、数据、目标函数和训练算法的复杂交互关系，逐步打开了深度学习的黑盒。同时，他也对未来AI研究进行了展望：未来想要设计出灵活可靠的AI模型，需要超越传统的机器学习研究框架，探索新的理论和技术。报告二：Deep(Convolution)NetworksfromFirstPrinciples马毅|加州大学伯克利分校教授加利福尼亚
197、大学伯克利分校电子工程与计算机科学系马毅教授作了题为Deep(Convolution)NetworksfromFirstPrinciples的报告。深度学习的兴起对学术界和工业界产生了深远的影响，业界也不断提出新型网络结构。但从学术理论的角度出发，当下迫切需要思考的问题是如何判断网络结构的好坏，深度网络的本质是什么，可否通过严格的数学理论推导得出完整的过程，从而理解网络内部的机理，为深度网络的性能提供理论支撑。马毅教授指出，数学上目前对数据所做的绝大部分任务只是以下三者之一：1.Interpolation（内插）：利用数据之间相似性，对数据进行聚类；2.Extrapolation（外插
198、）：利用数据的结构，对新样本进行归类和分；3.Representation（表示）：依据数据内在结构，对数据进行最简略的建模得到最有用的表示。机器学习论坛报告四：面向信息检索的预训练方法郭嘉丰|中科院计算技术研究所研究员中科院计算机所郭嘉丰研究员介绍了面向信息检索的预训练方法。郭嘉丰研究员认为，统一的预训练模型与下游任务微调组合的方式，目前已经成为很多自然语言处理任务的主流。但目前，也逐渐有学者开始探索特定任务类型驱动的预训练任务。例如，针对信息检索的特点，定向地设计预训练任务，能够使得训练出来的预训练模型更符合信息检索任务的需求，进而模型的效果和学习效率都能得到进一步的提升。特别是在低资源和
199、零资源场景下，这样得到的预训练模型能够直接被作为通用检索模型使用，而且其性能可以超越传统的检索方法。郭嘉丰研究员介绍了在面向信息检索任务的预训练模型研发上的一些尝试。他认为，面向信息检索的预训练将会是下一个重要的预训练模型的研究方向。报告五：面向反馈回路和数据偏差的因果推荐系统何向南|中国科学技术大学大数据学院教授中国科学技术大学何向南教授围绕着推荐系统的因果性发表了自己的观点。他认为，推荐是信息爆炸时代和搜索并驾齐驱的解决信息爆炸问题的两辆马车。目前大部分推荐系统的工作，主要是依赖于用户的反馈数据。推荐模型把内容推荐给用户，用在在这些内容上的行为会被记录下来，用于完善下一次推荐的模型。在这个
202、Arora、加州大学伯克利分校教授马毅、南京大学教授周志华、清华大学教授张长水分别作了四场深度报告。（整理：孙晨，沈磊贤，肖健，路啸秋）5455决策智能科学场景暨滴滴决策智能仿真开放平台机器学习论坛报告二：Ride-hailingMarketplaceOptimization:ReinforcementLearningApproaches秦志伟|滴滴出行首席研究员滴滴出行AILabs首席研究员秦志伟（Tony）博士介绍强化学习决策智能在车联网调度问题上的研究工作取得的成就，包括时空状态价值构建学习，以及针对大数据场景和优化群体层面指标的调度算法；通过价值函数快速自适应，并且将派单和
204、函数，就能取得派单和调度两个问题的最优策略。因为两个任务高度关联，可以实现了派单和调度的联动优化，高度适合司机的部署。同时还可以有效结合离线学习和在线学习共同策略，使得价值函数能适应瞬息万变的环境。决策优化算法的迭代离不开评估环境，特别是网约车算法研究，经常需要开放模拟器来做算法评估，今天发布的决策智能仿真开放平台也是滴滴公司解决决策优化算法迭代的一个尝试。报告一：决策智能仿真开放平台吴国斌|滴滴出行科技生态与发展总监在发布会上，滴滴出行科技生态与发展总监吴国斌博士首先介绍了滴滴的科技战略。随后由吴国斌博士与智源研究院副院长刘江共同发布了“决策智能仿真平台”。该平台为基于真实的网约车派单调度场
205、景的大规模工业级算法仿真平台，具有非常可靠的测试基准。吴国斌提出，平台具有易用性，支持Python接口，同时支持算法即插即用，可直接下载开发包。介绍中，吴国斌强调，整个平台是滴滴AILabs的硅谷，期待更多人在决策智能仿真平台上探索决策智能，挑战其中的科学问题。报告三：环境模型学习让强化学习走出游戏俞扬|南京大学人工智能学院教授南京大学人工智能学院教授俞扬指出，强化学习范式目前在各种游戏领域中取得了成功。然而，将基于试错机制的强化学习技术应用于真实环境下有时是不可行的（例如，控制锅炉的温度），过高的试错计算成本可能也令人无法承受。为此，研究者们将目光投向了离线强化学习。具体的技术路线分为两类
208、授从数据压缩以及群不变性的角度来构造和阐释深度神经网络，认为现代深度层次架构、线性算子和非线性激活等，都能用数据压缩中最大编码率衰减（MaximalCodingRateReduction,MCR2）的原理进行解释。网络所有层次结构、算子以及算子的参数值都能利用前向传播算法显式构造得出，无需反向传播算法进行学习。在此基础上通过对MCR2目标进行梯度下降优化，可以利用这一原理构造一个新的深层网络ReduNet，该网络具备严格精确的基于几何、统计以及优化的意义。报告四：可解释性定义与可解释模型的学习张长水|清华大学教授，智源研究员清华大学教授、智源研究员张长水针对当前神经网络可解释性差的难
209、题，提出将神经网络的可解释性研究转化为系统之间互相解释的一致性问题，给出了可解释性的定义，以及可解释模型的学习的思路。具体上，张长水教授从黑盒的结果一致性和白盒的过程序列一致性两方面进行了可解释性定义的探讨。在系统可解释的基础之上，张教授将可解释性定义扩充到人与神经网络的可解释研究，提出一种迭代交互式的可解释模型的学习方法，从而使得神经网络中间的部分节点具有可解释性；同时采用交互方式加入人工干预进行模型训练，从而识别神经网络中具有解释性的特征节点。张教授还提出神经网络的可解释性与鲁棒性关系密切，一个可解释性较强的模型往往鲁棒性也更强，进而通过MNIST数据集验证了加入人工干预后的神经网络可以识
213、决策模型的七要素。根据决策模型建立AI画布分解人工智能应用场景的工具，这一创新应用可以识别任务决策中各部分的具体操作路径、现实可能和未来远景，通过填补缺失信息，利用已掌握的信息，减少决策不确定性，降低预测成本，提高判断价值。人工智能是通用技术，能改变组织运行的要素和环境，构建组织智能化应用场景。未来，拥有算法的企业、数据的企业或行动的企业就掌握了核心竞争力，能在新一轮产业变革中脱颖而出。全球首款“产业知识计算引擎”发布报告二：知识图谱和计算引擎创新应用孙会峰|北京智源研究院知识引擎创新中心主任、上奇数科创始人习近平总书记在两院院士大会中国科协第十次全国代表大会上指出要“提升我国产业基础能力和产
215、强大的数据深度搜索、专业分析工具、内容自动生成等一站式行研服务。报告四：深度学习求解大规模博弈问题安波|新加坡南洋理工大学校长委员会讲席副教授，南洋理工大学人工智能研究院联席院长安波教授针对人工智能应用场景下的博弈问题，分别从基于博弈算法模型、基于强化学习的角度展开了一系列研究，开发了帮助警察追捕歹徒的博弈算法，通过深度学习技术提升了博弈算法的性能和计算效率。目前该领域还有很广阔的研究空间。新加坡南洋理工大学副教授安波认为，博弈问题广泛存在于各种人工智能应用场景下。目前研究博弈问题的方法基本可以分为两类：（1）基于算法求解的方法（2）基于强化学习的方法。对于数据量极少的情况，我们需要将复杂问题
216、进行适度的抽象，使用基于算法的技术。然而，面对大规模复杂博弈，特别是具有大量不确定性的情况以及无法进行精确建模的时候，需要用到深度学习技术来解决博弈问题。在基于算法求解博弈问题方面，安波教授团队基于大规模优化技术，研制了一套能求解适度规模序贯多方博弈的算法，这些算法可能应用于警察跟犯罪分子的实时对抗以及多人德朴的问题上。在基于深度学习求解博弈问题的任务中，安波教授团队提出了基于CounterfactualRegret和多智能体强化学习的算法CFR-MIX来求解大规模复杂博弈问题，并提出了证明该算法一致性关系的理论，能够应对更大的规模的博弈问题。此外，安波教授团队提出了一种新基于Fictiti
217、ousSelf-Play的框架NSG-NFSP，用于处理大规模的、离散化的博弈问题。他们利用表征学习、图学习等技术提升了在大规模策略空间中的Self-Play类型算法的性能和计算效率。安波教授团队针对有对抗的人工智能应用场景，分别从基于博弈算法和强化学习的角度展开了一系列研究，通过深度学习技术提升了算法的性能和计算效率。目前该领域还处于起步阶段，有很广阔的研究空间。在根据数据还原仿真环境，进而进行强化学习的任务中，使用监督学习方式生成环境会由于多步决策过程中的误差复合造成较大的泛化误差。为此，俞扬教授团队提出了一种基于分布匹配目标的环境生成策略，使用对抗生成技术，使生成环境中做出的决策与
218、真实情况下做出的决策效果一致。同时，俞扬教授团队还提出了降低这种对抗生成模型样本复杂度的方法，可以通过少量数据学习环境模拟器。针对根据数据还原仿真环境，进而做出决策的任务，俞扬教授团队利用对抗生成技术，研发了基于分步匹配的仿真环境生成方法，有效降低了多步决策中的泛化误差，能够利用少量数据学习出与真实环境相匹配的仿真环境。报告五：ArtificialIntelligenceBeyondPatternRecognition:DecisionMakingandControl张崇洁|清华大学交叉信息研究院助理教授清华大学交叉信息研究院助理教授张崇洁指出近年来人工智能领域如模式识别、计算机
219、视觉、自然语言处理等的研究较为前沿。但人工智能系统在智能决策方面仍然面临着根本性的挑战。目前，决策问题主要通过深度学习（通用的知识表达）和强化学习（解决决策问题的通用框架），将模式识别和决策策略的网络联合起来以同时优化决策策略和模式识别，最终使深度强化学习解决更复杂的问题。深度强化学习在算法层面难以应用于真实应用中的问题主要有：（1）样本学习效率较低。产生该问题的主要原因有三个方面：一是泛化能力弱，二是真实环境（自动驾驶、医疗等）中样本获取成本较高，三是基于梯度的方法更新神经网络具有增量性、缓慢性及全局性。张崇洁教授团队根据不同的原因提出基于模型（分别为表征模型、动力学模型、记忆力模型）的深度
220、强化学习方法解决此问题，研究结果表明该方法具有较佳的性能及较强的决策速率；（2）多智能体决策。多智能体包含大量交互的智能体，并且每个智能体采取某一策略后带来的环境改变和奖励大小都将影响其他智能体。多智能体主要有三种类型：一是合作型（协同合作使收益最大化），二是竞争型（个体收益最大化，收益对立），三是混合型（拥有不同个体收益但收益不对立）。张崇洁教授主要论述合作型多智能体系决策，此类型存在的挑战主要有复杂大规模问题（拥有诸多智能体）、信用评估（每个智能体对团队的贡献）、不确定性（部分可观测的环境有噪音）、异构性（智能体的行为具有多样化）、难以探索（协同探索不同的智能体）。针对上述挑战，张崇洁教授
221、团队提出了基于值分解、学习交流、学习动态共享（支持大规模学习）方法及基于影响探索方法，通过足球和星际争霸的研究结果表明该方法具有较强的优越性。产业画像和精准治理中的AI创新应用论坛“产业画像和精准治理中的AI创新应用”专题论坛聚焦产业要素的数据化、模型化和服务化，探讨如何应用NLP、机器学习、深度搜索、群体智能、知识演化建模等人工智能技术，研发支撑多维度产业画像的算法模型、知识图谱、场景应用等AI工具和计算平台。国务院参事室公共政策研究中心理事长胡本钢、北京智源研究院知识引擎创新中心主任、上奇数科创始人孙会峰、中国科学院大学网络经济与知识管理研究中心主任、教授吕本富分别针对人工智能如何赋能产业
223、的复杂结构和超参数的调试会严重影响训练效率。缺乏对结果数据的验证和解释也严重影响了模型的适用性。香港科技大学陈雷教授从三个层面对管理数据以进行快速和高效的深度学习进行解读：1.通过数据提取、集成和数据标记为有效的DL准备数据；2.通过数据压缩和计算图优化优化DL训练；3.利用模型训练过程中路径分析描述增强模型可解释性，以使模型更加健壮和透明。安波教授团队针对有对抗的人工智能应用场景，分别从基于博弈算法和强化学习的角度展开了一系列研究，通过深度学习技术提升了算法的性能和计算效率。目前该领域还处于起步阶段，有很广阔的研究空间。报告二：大规模共享出行中的群智计算童咏昕|北京航空航天大学计算机学院教授
225、型动,数据可用不可见的方式解决数据使用及隐私保护的两难困境，并在金融服务领域实现多项实际应用。在大多数行业中，数据是以孤岛的形式存在的，由于行业竞争、隐私安全、行政手续复杂等问题，如何在满足数据隐私、安全和监管要求的前提下，让人工智能系统能够更加高效、准确的共同使用各自的数据，是当前人工智能发展的一个重要课题。联邦学习以数据不动模型动，数据可用不可见的方式解决数据使用及隐私保护的两难困境。微众银行人工智能首席科学家范力欣博士介绍了联邦学习的基本思想、核心技术及其应用领域，剖析了联邦学习在营销、信贷、资产管理等金融服务中的实际应用。并且指出成本是普惠金融实现的关键，AI算法通过闭环的自动学习机制
226、可以持续降低服务成本。报告四;群体智能在机器人物流场景中的应用谭文哲|北京极智嘉科技有限公司副总裁群体机器人的物流场景应用是新时代运输供应链条的基础，是提升社会运行效率的重要保障。物流是现代社会生产的基本环节，近年来互联网经济的发展正对大规模物流提出端到端服务，个性化需求，快速分拣等新的需求。在智能拣选、智能分拣、智能搬运、智能存取等物流领域中，基于多机器人协同的智能物流模式具备高智能、高效率、高柔性的特点，是未来的发展新趋势。极智嘉（Geek+）副总裁、AI研究院负责人谭文哲博士介绍了将机器智能、系统智能以及数据智能结合所搭建出的RaaS（Robotasaservice）机器人服务网络
229、I领域的优秀青年人才千千万万，他们广泛分布在海内外，研究方向千差万别，缺乏广泛交叉合作，面临早期学术生涯压力，多数在以“单枪匹马之姿”探索智能的本质。智源研究院认为，未来人工智能领域的重大突破极有可能产生于交叉领域，广泛促进这些各方向最充满干劲的青年科学家进行深度交流和合作，在一定程度上减轻他们的学术压力，推动学者间的协同合作，将对整个人工智能社区产生极大意义。基于此种思考，在近日举办的2021北京智源大会上，智源研究院正式发布成立了AI青年科学家俱乐部“青源会”。它以“智源青年科学家”为核心，为海内外AI青年科学家和技术人员打造一个开放包容的研究社区，建立一个适合青年人才进行学术研讨和思
234、顾问委员会。青源会将邀请致力于构建全球科研社区，支持青年学者协同合作的国际专家担任顾问。2、青源会执委会。为维护青源会的日常服务工作，青源会设执委会主席1名，执委会成员8名左右。首届执委会成员通过邀请方式（后续将采取选举机制），共有6名。首届执委会主席为清华大学长聘副教授刘知远。其他几位执委会成员包括：清华大学助理教授黄高（机器学习与感知方向召集人），负责组织各类学术活动；中科院自动化所研究员张家俊（自然语言处理方向召集人），负责交叉研究的支持；清华大学研究员兰艳艳（信息检索与挖掘方向召集人），负责学术出版的合作工作；清华大学副教授翟季冬（体系架构与芯片方向召集人），负责荣誉和激励体系构建
235、工作；宾夕法尼亚大学助理教授苏炜杰（数理基础方向召集人），负责海外成员发展。3、青源会会员。首批会员共有95位。包括37位智源青年科学家以及58位海内外的优秀青年学者。6263青源学术年会青源学术年会6465青源学术年会青源学术年会4、荣誉会员。所有会员，40岁后转为荣誉会员。5、青源研究组。在要求比较“严格”的会员之外，为扩大“群众基础”，吸纳更多人工智能领域的老师和学生共同促进人工智能研究和社区的发展，青源会设立了“青源研究组”。青源研究组通过“申请-审核-邀请”制度加入，其成员有权益参加青源会各类活动，并有机会成为青源会正式成员。作为对青年学者最为友好的单位之一，智源研究院将
236、成为青源会坚实的后盾，为青源会提供全方位的支持。正如智源研究院理事长张宏江博士在发布会上所提：“对智源研究院来说，青源会让我们走出了北京，走到了全国，走向了全世界。智源研究院未来会大力支持，尽我们所能，来为大家争取更多的资源，让大家能够把精力更多地投入到科研里面去，投入到大家感兴趣的题目里面去。我想只要我们智源存在一天，我们就会努力支持青源会，支持它的发展和活动。”尽一切所能帮助AI青年科学家，开心探索智能本质。6667胡瀚梳理了前MoCo时代（2006年-2019.11），后MoCo时代（2019.12-2020.8），以及当前时代（2020.9-至今）各自的研究重点和主要代表性工作。胡瀚提
239、为在众多学习范式中，自监督学习是比较接近婴儿认知过程的一种学习范式。最近两年，随着何恺明等研究员的MoCo方法证明自监督预训练在多个视觉任务中可以超越有监督学习后，自监督学习成为计算机视觉领域最火热的研究问题之一。报告四：图神经网络的两面性：特性与问题王啸|北京邮电大学，助理教授对图数据的研究是数据科学的重要基石。当下的深度图神经网络已经在节点分类等任务上取得了较好的泛化性能。一方面在消息传递机制的框架下，GNN能够通过叠加图神经网络层很好地利用图的拓扑结构信息，从而使节点表征能够保留共性的低频信息。然而另一方面，我们应该如何进一步利用图中数据节点的特征结构？如何充分利用除了低频信息之外的其
240、他信息？是否能够找到图神经网络计算机制的统一公式？王啸的研究表明单纯利用特征信息，而不利用图的拓扑信息会使GNN性能下降，因此考虑同时构造拓扑图和特征图，并通过注意力机制学习更好的嵌入。此外，为了避免人为构造的拓扑图结构存在缺陷，王啸团队基于贝叶斯计算框架提出了一种自动学习图结构的网络。王啸团队发现，低频信号在同配性图上表现较好，在异配性高的图上表现较差，因此他们基于图信号处理技术设计了一种能够利用广义图注意力机制自适应地利用低频、高频信号的图神经网络。最后，王啸团队发现众多的GNN传播机制背后，本质上可以用一个统一的目标函数解释。在本次演讲中，王啸团队分析了当下图神经网络取得较好性能的原因，
243、流自监督学习方法通常有三种：一种是基于生成模型的方法，一种是基于对比学习的方法，还有一种是基于前置任务的方法。在基于前置任务的方法中，前置任务设置的好坏通常会影响下游任务的性能。有研究表明，当上下游数据满足某种条件独立性的时候，自监督学习可以达到最好的性能，但是通常这种条件独立性很难被满足。一个自然而有趣的想法是，我们能否通过引入部分下游任务的数据，使得条件独立性成立，从而改善自监督学习的性能？研究者从理论上对该问题进行了分析，与通常的直觉不同的是，在某些情况下，引入下游任务数据不但不会提升，反而还会导致自监督学习性能的下降。具体来说，当下游数据较少时，使用下游数据进行训练反而会让自监督学习性
244、能变差。同时，研究者给出了两种下游任务样本数的下界，分别为依赖模型结构的下界和不依赖模型结构的下界。最后，研究者通过实验验证了上述的理论结果。报告二：预训练语言模型的前沿发展趋势蓝振忠|西湖大学助理教授西湖大学的蓝振忠助理教授在报告中主要从以下三个方面展开：第一方面，为什么全网络预训练模型如此重要？预训练语言模型在最新的研究和应用中表现出强大的语言理解能力，为自然语言处理打开了全新的局面，并推动了整个人工智能领域在预训练方法上的发展。第二方面，为什么语言预训练模型诞生得如此之迟？一是因为相比于CV，NLP有太多的任务，所以很难把它整合起来，现有的研究大多都旨在为不同的任务设置不同的网络。二是因
245、为预训练需要很多的资源，是一个很难的工作。第三方面，如何预训练一个有效的模型？（1）网络规模：越大越好，因为预训练学的是一些非常复杂的基础知识，现如今的数据量非常庞大，从神经网络角度来说，基本上是网络越大，其学习过程就越容易。（2）网络架构：现如今普遍使用encoder-decoder架构。如果是做理解类的任务，推荐使用类似于BERT的架构；如果是做生成类的任务，推荐使用类似于Pegasus的架构。除此之外，还有一些训练技巧，包括使用smallwordembedding，跨层的参数共享，取消dropout，使用talking-headattention等。（3）目标函数：Masklan
249、，并且基于互信息最大化融合两个图。在知识图谱与弱结构化信息的融合问题问题中，赵鑫团队基于用户行为数据的知识挖掘技术利用了弱结构化数据对知识图谱进行补全。赵鑫在演讲中首先对图神经网络在知识图谱上的应用进行了简要的介绍，并进一步分析了如何利用知识信息增强推荐系统的可解释性、如何融合知识信息从而更好地实现会话式推荐以及如何利用弱结构化数据进行知识图谱补全。报告七：科研技能提升讲座：如何撰写高质量科技论文刘洋|清华大学教授，智能产业研究院副院长，智源研究员清华大学计算机系教授、智能产业研究院副院长刘洋老师提出“信息为表，逻辑为骨，思想为心”的撰写高质量论文这一方法论。“信息为表”指信息传递，即读者看到
253、议上进行讨论，统计好的论文录取结果上报给程序主席；（7）公布结果：程序主席汇总各领域主席的论文推荐意见、进行统计并公布录取结果。圆桌论坛：自监督学习黄维然|华为诺亚方舟实验室研究员蓝振忠|西湖大学助理教授胡瀚|微软亚洲研究院研究员问题1：对比学习是CV领域自监督学习的主流方法，而在NLP领域中主流的做法是设置各种代理任务，为什么会存在这种训练方式的差异？是否可以通过一种通用框架将两者统一起来？胡瀚：NLP领域基于代理任务进行自监督学习是自然而然从对语言模型的研究发展而来。而在CV领域中，使用对比学习方式进行自监督学习主要是因为其最终的效果较好，但并不自然。未来可能出现将二者统一起来的框架。蓝
254、振忠：各种数据的形式和语义存在差异。NLP数据往往是线性的，CV数据是非线性的，而蛋白质数据则还包括三维空间信息。针对各种数据的自监督学习主要还是要考虑数据本身的特性。黄维然：在CV领域中，利用人的经验是十分重要的。对比学习本质是最大化互信息，而这样可以得到不同图片之间的共性特征。目前在NLP领域如何更有效地使用对比学习进行自监督学习还有待研究。问题2：自监督学习和半监督学习有何异同？二者都采用预训练+微调的模式连接上下游任务。未来会延续使用这一范式，还是有所改变？黄维然：半监督学习也会用到大量无标签数据，但是在半监督学习场景下我们已知下游任务。而自监督学习可以在无监督的情况下，学习到一
255、个对多种下游任务都有效的模型。针对特定下游任务设计预训练模型可能并不是一种好的方式。蓝振忠：当预训练任务与下游任务较为接近时，预训练模型在下游任务上的拟合情况较好。未来，在获取预训练数据时可以使数据尽可能覆盖下游任务。胡瀚：自监督学习本质是在不考虑具体下游任务的情况下，学习出普适性的模型。而在半监督环境下，预训练过程和针对下游任务微调的过程交互性更强。未来，视觉领域也可能出现GPT-3这样的大模型，面对新任务无需进行微调。此外，自监督学习也需要将预训练过程与下游任务结合地更好。黄高：人类在大多数情况下不会针对具体任务重新调整神经元连接，使用通用的大模型是比较自然的方式。青源学术年会青源学术年会
256、（整理：沈林杉、沈磊贤、孙晨、熊宇轩、张虎、李向南）7071问题3：在NLP、CV领域和理论层面上，自监督学习目前面临哪些难点和挑战？胡瀚：从CV角度来说，当自监督学习面临千万级以上的数据时会遇到性能瓶颈，这与NLP领域的情况有一定差别。蓝振忠：CV领域目前还不能使用与NLP领域相同的超大规模模型，目前还没有很好的方法可以让模型持续学习。而在NLP领域中，学到的知识的通用性并没有CV领域那么高。黄维然：目前自监督学习领域仍然是算法先行，尚未形成指导算法设计的系统理论。就难点而言，由于自监督学习的上下游任务关系很难建立，因此在训练时缺乏评价模型泛化能力的指标。目前一般需
257、要假设上下游任务中数据分布相同，才能进一步做理论分析，得到泛化误差。此外，需要从优化的角度分析自监督学习的收敛性。从来理论的角度来说，目前我们还没有能够将最简单的自监督算法分析透彻，我们需要能够对这些算法进行理论解释。问题4：Transformer的提出对自监督学习会带来哪些变化？胡瀚：二者是黄金交叉，Transformer具有很强的表达能力，而自监督学习正好需要利用这种表达能力。蓝振忠：随着数据量的增长，将Transformer引入自监督学习领域可以得到更好的效果。主要的好处在于可以优势互补，将CV和NLP的研究更好地融合。黄维然：究竟怎样的网络架构更适合自监督学习仍然有待
258、探究，未来也许可以借助NAS等手段，设计专门服务于自监督学习的网络架构。问题5：悟道2.0等大规模模型的成功对自监督学习有和启示和影响？蓝振忠：在CV领域中，我们可以借鉴NLP领域的做法，向网络中注入更多的知识。胡瀚：目前CV领域的研究可以借鉴很多NLP领域的思想。在自监督学习任务中，我们希望模型能够理解所有的视觉信号，包括图片、视频，需要将视觉信号与自然语言建立联系，并且增大其对语义的覆盖面。比较看好视觉大模型是未来CV研究的必经之路。问题6：实现跨模态自监督学习有哪些技术路线？如何让人工智能像人一样学习？胡瀚：人类在学习视觉和语言的过程中，最终会将二者耦合起
261、鑫指出科研过程中的焦虑是由于对整个科研过程掌握不全面造成的，并进一步指出解决焦虑的方法是将科研过程中的方方面面做到标准。发现科研兴趣赵鑫讲述大四期间自己经常在图书馆阅读英文书籍，逐渐产生了对科研的兴趣。施柏鑫指出要想清楚自己感兴趣和不感兴趣的方向。刘知远通过对比自己的实习经历和科研经历，确定了自己的方向，并提出从激发热情、发挥潜力两个方面来选择适合自己的舞台。确定科研方向刘知远指出科研是一个厚积薄发的过程，初始阶段要敢于探索，不断接受外界的反馈促进自己的思考，进而调整自己的方向。施柏鑫同样认为科研先找到一个主题做下去比较重要。赵鑫提到科研要开放眼界，顺应科技发展的潮流，勇于接受新技术。兰艳艳补
266、ononSustainableDevelopmentandGovernance（负责任的人工智能:可持续发展与治理的深层协调）报告二：主题报告WendellWallach|耶鲁大学技术与伦理研究组负责人，卡内基国际事务伦理委员会高级研究员报告三：主题报告DanitGal|剑桥大学未来智能研究中心研究员报告四：从原则到实践，构建AI治理生态系统ArisaEmma|东京大学副教授，日本人工智能学会伦理委员会委员人工智能伦理、治理与可持续发展论坛报告五：从伦理清洗到伦理评估王国豫|复旦大学教授，应用伦理学研究中心报告六：人工智能伦理和治理的若干议题陈小平|中国科技大学教授，机器人实
267、验室主任报告七：人工智能治理：从正式规制到负责任研究与创新梁正|清华大学教授，人工智能国际治理研究院副院长报告八：人工智能技术赋能全球疫情防控朱旭峰|清华大学教授，清华大学全球可持续发展研究院执行院长报告九：联合国开发计划署的可持续发展目标张薇|联合国开发计划署助理驻华代表报告十：可持续发展视野中的人工治理郭锐|人民大学副教授，未来法治研究院社会责任与治理研究中心主任报告十一：智联社会：发展与治理的双螺旋段伟文|中国社科院研究员，科学技术哲学研究室主任7475人工智能的认知神经基础论坛报告一：Historyandrecentadvancesofdeeplearningtheori
268、es甘利俊一|帝京大学综合科学研究机构特任教授、理化学研究所荣誉研究员利用信息几何方法理解深度学习的泛化行为，解释深度神经网络的学习机制。日本理化学所荣休教授甘利俊一（Shun-ichiAmari）先生在人工神经网络的发展历程做出了大量跨时代的工作，其在1967年就提出了随机梯度下降算法，并首次将其用于多层感知机训练（类似工作深度学习之父Hinton等人在1986年才提出），在1972年就提出了联想式记忆模型（类似的工作由Hopfiel1982年提出）。甘利先生用微分几何方法来解释概率模型学习，提出并发展了著名的信息几何理论来研究深度学习网络。在深度网络学习中，可训练参数数量远多于训练样本
269、数量，但是训练得到的网络却依然可以在测试集上表现出良好的泛化性能，而不是过拟合到有限的训练数据上去。如何理解这一泛化行为？甘利先生梳理了近年来领域内发展的一些重要的理论方法，如信号变换方法，神经正切核方法等，进而介绍了其自己基于信息几何方法对此问题的研究，从理论上证明了在一个超大的随机网络权值空间中，总可以找到拟合任意目标函数的权值点，该方法为我们理解深度神经网络的学习机制提供了核心的理论工具。报告二：Data-drivenSimulationsofBasalGangliaMicrocircuitsJeanetteHellgrenKotaleski|瑞典皇家理工学院教授，卡洛琳斯
271、拟了鳗鱼在复杂水流的情况下，以无监督学习的方式，实现自感知、自适应、自驱动，同时进行躲避障碍与向目标物体游动的行为。Jeanette的一系列工作均发表在顶刊PNAS上，代表了欧洲神经学界的大脑精细模拟学派如何从大脑的结构和功能入手，探索通用人工智能的方向。“大数据”、“大算力”和“大模型”，是近些年人工智能领域的热点词汇。在本届智源大会上发布的超大规模人工智能模型-“悟道2.0”，是目前全球最搭的超大规模人工智能模型，代表了通过“大数据+大算力+强算法”探索通用智能的最新成果。与此同时，在这个追求“大”的时代，是否还存在其他道路和途径，来促进人工智能的发展和迈向通用智能的前沿探索？生命是智能的
273、manbrainworksdifferentlyfromDeepLearningtechnologyDankoNikolic|Evocenta人工智能和数据科学主管借鉴人类大脑在概念表征、情境信息处理等方面的工作机理，提高机器智能的感知和认知能力。曾任职德国马克斯普朗克脑研究所和法兰克福高等研究院，目前在人工智能领域创业的DankoNikolic博士通过多个方面的对比研究阐述了大脑的工作机理和与深度学习的差异。这些差异使得一些对人来说很简单的事情对人工智能却很困难，也使得人工智能只能胜任特定任务，而不具备通用智能。DankoNikolic对比了人工智能在所犯错误类型、对概
274、念的表征和理解、对情境的感知能力、学习的方式等各个方面与人脑的不同。指出这些不同使得人工智能在灵活性和泛化性上远远不如大脑，很难适应开放和未知的环境。另外，在智能的可扩展性方面，人类大脑与类人猿大脑相似，但在智能水平上有极大的提升，体现了生物智能系统良好的可扩展性。而当前人工智能水平的提升则需要巨量的资源投入，并且随着资源投入的增大其边际效益快速下降。类脑智能的研究需要进一步深入理解这些本质差异并提出有效的解决方案，才能在可预见的未来让机器达到人类的智能水平。报告四：ChallengingArtificialIntelligenceVisionAlgorithmstoachieve
275、humanlevelperfor-manceAlanYuille|Bloomberg特聘教授基于人类视觉感知机理设计和评估机器视觉算法，促进类脑视觉系统的创新研究。约翰霍普金斯大学认知科学系和计算机科学系Bloomberg特聘教授AlanYuille教授师从霍金获理论物理学学位，后转向计算机视觉领域，曾获计算机视觉领域最高奖马尔奖（MarrPrize），是计算机视觉领域的权威。AlanYuille教授认为，虽然当前AI视觉算法在特定数据集上超过了人类水平，但这是因为人工智能是非常好的应试者，能够利用数据集里面的统计规律性来提高在特定数据集上的性能，但这样的解决方案缺乏人类视觉感
277、的神经网络架构等策略，解决对抗性攻击、对环境信息过于敏感等算法弱点。尤其是向人类视觉学习，开发具有组合性的模型，这将有助于鼓励研究界开发出性能与人类视觉系统一样好或更好的算法。报告五：高精度模拟-生物智能涌现之基石马雷|智源生命模拟中心部门负责人通过高精度生物大脑模拟仿真，构建生命智能模型，探索新一代人工智能发展的可行路径。在此次论坛上，智源研究院生命模拟研究中心负责人马雷首次公开介绍了智源三大模型之一，“天演”生命模型。结合来自神经科学、信息科学等交叉科学的前沿技术，智源的“天演”生命模型旨在模拟仿真经历亿万年进化演进的生物神经系统和身体。通过搭建高精度模拟仿真软硬件系统，构建生命智能模型并
279、神经建模的通用神经模拟调优工具GeneralNeuralEstimator；第三，基于“天演”构建了超大规模的生物大脑模型（一百万神经元的小鼠纹状体），为欧盟脑计划已发表模型的6倍。7677新一轮科技革命和产业变革正在萌发，以深度学习和大数据为基础，以AlphaGo等为典型应用场景掀起了人工智能的第3次高潮。传统的基于统计线性化动态建模的人工智能，在处理复杂对象时遇到了可解释性、泛化性和可复现性等发展瓶颈,迫切需要建立基于复杂性与多尺度分析的新一代人工智能理论，我们称之为精准智能。论坛主席吕金虎（北京航空航天大学自动化科学与电气工程学院院长），嘉宾郑志明（北京航空航天大学教授，中科
281、模生物神经网络的精细仿真逐步变得切实可行。在不久的将来，“天演”平台上将会孕育各式各样的生命模型，这将推动人类对于智能本质的探索，成为发展新一代人工智能的不竭源泉。圆桌论坛：AI与脑科学的错位此认知非彼认知刘嘉|清华大学教授，智源首席科学家陈良怡|北京大学教授，智源研究员杜凯|北京大学人工智能研究院，助理研究员宋森|清华大学研究员，智源研究员吴思|北京大学教授，智源研究员余山|中科院自动化所研究员，智源研究员建设生物智能开源开放平台，基于认知神经科学的研究理论、方法、数据和开源工具，探索实现新一代通用人工智能的可行路径。人工智能的发展得益于神经科学、认知科学等领域的重大发现，而目前
282、的人工智能与脑科学之间还存在一些错位，弥合这些缺口可能是解决当前人工智能某些不足的关键。在此次论坛的圆桌环节，来自智源研究院人工智能的认知神经基础方向的刘嘉、宋森、余山、吴思、陈良怡等智源学者及北京大学人工智能研究院的杜凯一致认为，当前的人工智能与大脑的神经计算还差距非常大，例如在在处理基本的视觉信息输入时，人工神经网络还依赖于对静态图像的学习，而人类视觉系统的神经网络处理信息是一个动态的过程。通过对认知科学、神经科学与计算科学等多学科的交叉研究，将现有认知神经科学等领域的最新成果、技术、研究工具和理论方法应用到人工智能中，模拟生物大脑，利用人工网络研究生物大脑的特性等，可以推动脑启发的人工智
284、脑内部认知过程的探索，比较生物智能与神经网络的异同，帮助我们了解大脑在实现特定认知功能的神经机理和认知范式，完善和革新现有的人工神经网络模型与算法，探索智能的边界和脑启发/类脑的通用智能研究新路径。编辑整理：智源“人工智能的认知神经基础”方向团队，生命模拟研究中心负责人马雷审核校对：智源“人工智能的认知神经基础”方向智源学者，生命模拟研究中心马雷、杜凯论坛主席:吕金虎|北京航空航天大学自动化科学与电气工程学院院长报告一：精准智能理论前沿与进展郑志明|北京航空航天大学教授，中科院院士以深度学习方法为代表的人工智能可解释性已成为制约当前人工智能发展的核心关键科学问题，这一瓶颈根源于复杂系统基本要素
285、之间的非线性关联关系，传统的统计与动态线性化框架无法准确有效捕获问题的数理本质，由非线性所导致的系统复杂性是当前人工智能发展的科学挑战。北京航空航天大学郑志明院士经过长期深入探索研究，提出面向复杂动态对象的人工智能精准智能理论方法，发展内嵌底层逻辑和数学物理内涵、融合非线性分析和复杂性科学的智能理论体系，对复杂数据系统建立内嵌数理的系统学习方法，研究数据系统的演化规律和科学发现。郑志明院士在本次大会上详细介绍精准智能的理论框架和成功应用，包括面向国际大型合作暗物质探测计划AMS-02所建立的内嵌扩散机理的复杂系统耦合解耦和演化学习方法，面向信息突发涌现的爆炸式渗流现象所建立的内嵌渗流系统的分支
287、如连接主义的深度学习等仍然面临诸多待解决问题，如灾难性遗忘问题、无推理问题、大数据依赖问题。实现人类水平的人工智能，人脑是最直接的参照物，它很好的融合了几乎全部的人工智能理论学派，因此是绕过目前机器学习诸多困难问题的捷径。通过生物机制启发的类脑智能模型包括：类脑脉冲神经网络，希望在脉冲编码及生物学习等方面产生突破。类脑人工神经网络，希望在网络结构和学习优化方法上产生新突破。类脑脉冲神经网络可以从多尺度的生物结构、功能模拟中得到启发，构建满足生物合理性的类脑神经网络模型，如脉冲神经网络模型。脉冲网络深度借鉴了动力学突触模型，提高了信息复杂表征的同时，帮助快速学习、稳态信息保持等。脉冲网络的优势包
288、括：监督学习和非监督学习紧密融合、脉冲门控多尺度信息路由、丰富的多类时序信息处理。生物基础研究提供了可能的智能机制发现，类脑模型研究提供了“生物机制”好不好的实验验证，数学基础研究为深入理解类脑模型提供理论和工具保障。精准智能论坛精准智能论坛（整理：王田）如今，人工智能技术在智能感知领域已经取得了巨大的成功，基于深度学习的人工智能系统在计算机视觉、自然语言处理、语音识别等领域的感知问题上纷纷达到了超越人类的水平。然而，在推荐系统、问答系统等应用场景下，仅仅依赖于具备感知智能的机器仍然无法完全满足人类的真实业务需求。因此，认知智能作为人工智能技术发展的高级阶段，旨在赋予机器数据理解、知识表达、
290、公卫事件监测、预警、应急及产业分析，包括大数据疫情感知、大数据疫情预测、大数据仿真决策，为国家决策多部门、全链条任务提供支撑。存在的挑战在于，复杂系统随机性强，现有智能的可预测性大幅受限。数据基础设施薄弱，协同化受限于固有惯性。集中管控可以强效管控疫情，但成本巨大。需要构建符合我国社会治理现代化模式的新一代信息基础设施，实现协同化、智能化、分布式，降低治理成本，实现精准治理。社会治理现代化面临的主要挑战包括资源竞争矛盾，无序发展矛盾。社会参与者之间缺乏协作，形成囚徒困境，导致社会运行效率的下降，这种竞争不会随着社会发展而自动改善。社会组织条块分割过于零散，自扫自家门前雪，导致自身有序发展而自身
292、知识应用到本领域的学习模式。从数据角度分析，数据量大但标注数据成本高昂、训练一对一模型繁琐；从模型角度分析，个性化模型复杂、“云+端”的模型需作具体化适配、独立同分布假设不再适用、快速构建和强泛化能力要求高。如何基于已有的不同分布数据，快速构建模型，实现数据标定，是一个重要问题。机器人操作领域数据收集困难、学习算法样本利用率低、硬件损耗造成训练成本高昂等，因此需要迁移学习。核心是衡量并降低两个领域（源域和目标域）之间的分布差异，使在源域上学习得到的模型可以泛化到目标域。迁移学习的方法包括基于实例的迁移、基于特征的迁移、基于模型的迁移、基于关系的迁移等。技能直接迁移指的是将在源域任务训练所得策略
294、lityMulti-taskMega-transformer）的架构、应用及探索。（1）在架构方面，M6模型采用MoE技术路线，在中文多模态预训练方面已取得重要的进展，如今研究人员正在对模型进行改进，以探索将它扩展到英文领域。研究人员使用阿里内部自研框架Whale实现MoE层，并加入Gradientcheckpointing、XLA优化、通信优化等系列优化后，模型在128张A100上测试速度能达到1440个Samples/s。（2）应用方面，M6在下游任务主要聚焦于生成任务，例如文本到图像的生成、图到文生成（描述、VQA等）及其他用法。沿用M6范式在ImageCaptioning上对英
295、文处理进行了一些尝试，M6已经取得了非常大的提升，目前在MSCOCOImageCaotioningChallenge榜单名列第一。研究人员发现，目前M6在生成任务方面还有很大的进步空间。（3）在探索方面，林俊旸及其研究团队从负载均衡、Top-krouting策略及capacity设计、超大规模模型验证及万亿M6实验方面，探索了M6MoE模型效果的影响因素。测试发现，负载均衡可能不是一个非常重要的效果影响因素，Top-Krouting策略中k的取值以及capacity设置对效果影响很大。研究团队经过分析后提出了简单的expertprototyping方案，则能在保证效率的同时提升效
300、ERT、悟道、GPT-3等在自然语言任务处理上表现出了优越的性能，但在开放式问答场景中，有时机器会出现违反人类常识和知识的回答。针对这一问题，研究者们在预训练模型训练过程中引入知识图谱，帮助预训练模型掌握更多知识。基于以上思想，张鹏介绍了三个方面的工作：（1）异构实体网络的预训练模型OAG-BERT。该模型在训练过程中加入大规模学术知识图谱中的异构实体信息，在BERT训练过程中，将位置信息转换为二维，以助理解。在BERT模型基础上增加学术知识图谱中的实体语义表示，帮助模型学习更多实体知识；将BERT模型的一维位置信息转换为二维，以助模型学习实体上下文和位置信息；实现跨度感知实体屏蔽策略提升模型
303、研发出了CogDL图深度学习工具包。CogDL的核心逻辑是假设每种不同的任务都有一个统一的训练逻辑是假设每种不同的任务都有一个统一的训练逻辑，从数据准备、模型搭建、模型训练到模型评估，并提供experiment接口，用户输入参数即可直接进行测试，也可以加入自己的模型或数据集来运行。研究团队增加了一些图自监督学习算法，对数据集进行测试发现，在无监督表示学习的训练模式下，方法的结果已经接近有监督学习的效果，表明图自监督学习可能也是未来的一个重要的方向。在海量数据挖掘方面，研究团队通过Mini-batch方式训练图神经网络，并进行多卡拓展，4个GPU可达3倍以上的加速。在图神经网络的底层算力优化方面
304、，主要采用GCN和GAT两种模型，CogDL中GCN/CAT模型的核心部分只有几行，但是可以享受非常快的稀疏算子加速。CogDL图深度学习工具包的设计愿景是实现“易用接口、可复现性、高效计算”。清华大学电子工程系戴国浩老师指出CogDL面向图机器学习的工具包主要是针对图深度学习的场景。这里我们希望能够从底层计算的角度（特别是稀疏算子）为CogDL底层做高效算子支撑。但图本身具有稀疏特性，因此图深度学习系统与现有的深度学习系统存在差异。为此，该团队正在对三方面进行积极的积极尝试，一是在GPU上以图深度学习或者典型的图计算算子做稀疏算子支撑，较明显地提升了稀疏算子在GPU上的性能；二是为解决现有稀
307、ts、构建图、图表学习。杨洋在最后介绍了三个Time2Graph的真实应用场景，其一是应用于国家电网窃电检测的场景，去年在国家电网的反窃电检测场景中，在浙江范围内检测到5800多个窃电案例，补交了大概624万的电费。其二是部署在阿里云上，用来监测阿里云上的常规服务是否会发生端口流量的异常。其三是与国家电网合作，通过用户用电量来判断该户是否有空巢老人。发布面向认知的搜狗学术-AMiner合作（整理：寇建超、AITIME）8283【AITIME论道】让机器像人一样“思考”还有多远？主持人：何芸|AITIME负责人主持人：袁莎|智源研究院副研究员许静芳|搜狗公司高级副总裁杨洋|浙江大
309、绝伦的讨论。何为机器认知？机器认知应该具备怎样的能力？作为搜狗集团的高级副总裁，许静芳从搜索的应用场景出发讨论了自己对认知智能的看法。在她看来，认知智能一直是搜索业务追求的目标。随着人工智能技术的发展，我们可以准确地识别语音、图像、文字，然而如果要想让搜索结果真正解决用户的问题，就需要理解用户的真正意图，这有赖于认知智能的发展。杨洋同样认为认知是相对于感知而言，人工系统不仅应该识别出当前接触到的信息，还应该根据以往所积累的经验和知识进行更深层次的联想和思考。林俊旸指出，机器认知主要需要具备逻辑推理能力。即使是GPT-3这种强大的模型生成的对话也有很多不合逻辑的地方，未来的机器认知技术需要在
311、对张鹏的观点表示了赞同。在她看来，人类在解决问题时，针对具体的输入，需要应用自身通过不断的学习积累的知识，通过输入+常识逻辑推理的方式来解决问题。同时，许静芳抛出了一个值得探讨的观点：机器需要常识和逻辑解决问题，然而对于机器而言，其解决问题的路径和方法是否应该和人一致，这种路径是否是最优的？杨洋认为机器并不一定需要我们人类所理解的常识和逻辑。这是因为，常识和逻辑是人类对自己思维过程的一种翻译。机器在完成任务的过程中的思考方式可以与人类有所区别。人类之所以需要通过常识和逻辑将思维模式翻译出来是因为人与人之间需要协作，实现知识的传承。如果机器不需要与人类进行协作，也就不需要人类所理解的常识和
312、逻辑。林俊旸从推荐系统的角度出发，指出常识和逻辑推理能力对于当下的人工智能算法研究是十分重要的。推荐系统、自然语言处理领域的问答系统等应用都需要依赖于常识和推理技术实现可解释性。在机器认知领域，算力、算法、数据、知识将分别扮演怎样的角色？机器认知与人类认知达到同一水平的标志性事件将会是什么？林俊旸认为，数据本身对认知智能的影响是巨大的，例如在训练问答系统的过程中，高质量的训练数据可以有效提升生成对话的质量。在拥有了好的数据之后，能够有效利用大规模高质量数据的算法也至关重要。而在知识方面，我们需要探索如何将知识图谱与预训练模式更好地结合起来。此外，面对万亿级别大规模模型的训练，强大的算力基础十分
313、必要的。杨洋将算力比作机器认知的骨架、算法比作大脑、而数据则是机器所处的环境。他还畅想道，未来我们可能将知识、数据统一起来。而如果我们所创造出来的智能机器能够顺利通过图灵测试，则标志着机器认知与人类认知达到了同一个水平。许静芳通过生动的例子阐述了自己的观点。她将算力比作人的食物，数据比作人学习的素材，知识则是人类过去总结出来的有助于解题的规律。算力的竞争是人工智能发展的初级阶段，而优秀的算法需要能够利用数据举一反三，不断总结、创造知识。我们不应机械地将知识与学习过程分离开来，在学习的过程中应该动态地总结出知识。许静芳认为，机器自我意识的觉醒将标志着它们具备了与人类相一致的智能。张鹏另举一例，
314、将机器认知比作一辆汽车，数据则是汽车的燃料，算力是车基本的机械结构。此时，算法是车的核心发动机，它与算力相辅相成。最后，要想使汽车正常行驶，还需要知识系统将数据、算法、算力融合起来。至于实现与人类同等水平的认知智能的标志性事件，张鹏老师同样也认为图灵测试是一个很好的标准。然而，在他看来，随着时代的发展，这种图灵测试应该更加严格，它需要能够应对不限场景、不限条件的开放式环境。认知智能论坛认知智能论坛8485主席和主持人:马维英|清华大学智能产业研究院惠妍讲席教授、首席科学家报告一：人工智能赋能个体化癌症免疫治疗李明|滑铁卢大学计算机科学系教授滑铁卢大学计算机科学系教授，百蓁生物董事长李明做了题
315、为“人工智能赋能个体化癌症免疫治疗”的报告，阐述了用人工智能技术服务癌症免疫化治疗的创新。传统的个体化癌症免疫治疗流程中，寻找新抗原的阶段，存在周期长、准确性低、遗漏多、成本高等问题。针对这些问题，李教授发表了一系列工作。李教授团队首次将深度学习引入蛋白组学，提出了DeepNovo，实现了数据依赖采集（DDA）的肽段从头测序。在DeepNovo的基础上，针对数据非依赖采集（DIA）的肽段从头测序分析中，李教授团队提出了DeepNovo-DIA，展现出了高准确度和可靠性。为了有效地利用高分辨率数据而不大幅增加计算的复杂性，李教授团队提出了PointNovo，首次不依赖质谱仪精度，稳健地处理任何分
316、辨率的质谱数据同时保持计算复杂度不变。李明教授团队在此前工作的基础上继续推进，提出了个体化新抗原发现方法，对于不同的病人采取个性化的分析。针对已经发现的新抗原是否有效问题，李教授团队提出了DeepGenic，检测其免疫原性。李教授团队还推出了DeepImmu平台，使用质谱仪即可进行更为准确、快捷且价格更为低廉的抗原表位鉴定。李教授同时表示人工智能在癌症免疫化治疗方面有很大的潜力，人工智能方法将更广泛地走入传统湿实验室。报告二：结构性和功能性基因组学的机器学习算法马剑竹|北京大学教授北京大学教授马剑竹做了题为“结构性和功能性基因组学的机器学习算法”的报告，阐述了将人工智能技术用于蛋白质结构和功能
318、神经网络。对于蛋白质功能预测问题，马教授提出了一种基于元学习的蛋白质功能预测方法。该方法利用元学习的方式在多种同源蛋白质族中学习一种通用的数据表示，当一种只有少量已知肽链的新蛋白质族出现时，利用少样本学习，学习针对该蛋白质族的特征表示。报告四：以计算之矛攻新冠之盾刘铁岩|微软亚洲研究院副院长微软亚洲研究院副院长刘铁岩从机器学习的角度，通过构建新的模型探讨了如何运用计算的手段对新冠疫情的发展情况进行预测和治疗分析。面对新冠疫情，很多单位提供了预测的模型，基于经典的SEIR模型，通过简单的微分方程的定义，尝试对新冠疫情进行预测，但这些模型没有较好的机制处理复杂的数据，无法考虑管控措施、医疗设备的运
320、措施在不同区域的不同执行程度。刘铁岩还从病毒学方面介绍了新冠病毒感染人体的路径，以及spike蛋白的三聚体：RBD、NTD、S2。此外，通过构建大型分子动力学系统，得出了“有效控制NTD会对RBD的运动有影响，NTD作为有效靶点，有利于抗击疫情的制药研究”的结论。刘铁岩等人建的新模型在所有的模型中表现最好，有很高的解释性，为未来的深度学习以及对新冠疫情未来的走势和管控提供了一定的思路。报告三：DecodingtheHumanGenomeStructureandFunction马坚|卡耐基梅隆大学教授机器学习技术可以促进对分子生物学、生物医学的理解。其中，基因组学有潜力促进高精度的
321、个性化医学诊疗。然而，基因组学分析存在以下难点：需要处理高维、多模态数据；需要理解生物系统相互关联的本质；基因组的组织结构和功能存在动态性和异构性；我们对基因组起作用的方式还不够了解。因此，我们在实现基因组学的自动化、整合多模态数据、利用基因组学进行预测等方面有很大的研究空间。人体内有超过200种不同的细胞，马坚教授团队试图利用机器学习技术识别基因组组织的模式、分子机理、功能影响，从点突变、大规模变异、染色体组织，细胞-细胞间的通信、组织环境等方面理解基因在不同细胞中的结构和功能。近年来，许多科学家基于Hi-C技术得到的数据分析染色体的空间结构。然而，马坚教授团队认为Hi-C子隔间并
323、Higashi模型，将单细胞Hi-C数据建模为超图，生成不同类型细胞的嵌入，综合利用嵌入和归因图（imputation）生成基因组空间结构。该模型被用于分析人类额叶皮层的单细胞Hi-C数据。马坚教授团队将概率图模型、图神经网络、超图学习等技术用于基因组学分析，探究了染色体空间分隔模式、异构互作用组模块交互模式、单细胞三维基因结构建模等问题。AI赋能生命健康与生物医药论坛AI赋能生命健康与生物医药论坛AI赋能生命健康与生物医药论坛过去一年，防疫为全世界的研究者带来了关乎生命健康的大考，AI在生命科学、生物制药、基因工程、健康计算、个体化精准医疗等领域的应用已经深入人心。在AI赋能生命健
325、，医渡云构建医院智能集成系统，对接医院全系统对接并整合异源异构数据，同时构建患者的跨系统唯一识别标识，以保证患者数据准确性及快速检索，助力分诊转诊的实施。医渡云利用知识图谱提出了“因数健康”的服务模式，以效果导向的五维数字疗法，通过医疗人工智能平台的核心能力，以患者疾病指征为中心，搭建五维保障服务。五维保障服务包括（1）AI溯源：通过AI精准溯源病因，评估风险因子，精准诊断分型；（2）一人一策：根据诊断结果，定制个性化营养、运动、行为疗法；（3）三师共管：资深营养师、全职医生、健康管理师三师团队，构建数字疗法服务新生态；（4）人性服务：每日膳食处方建议、运动处方、患教内容、打卡点评以及个人的每
326、周总结报告；（5）收益量化：对用户的疾病指标达标率、疾病逆转率、合理用药依从性等综合分析，根据用户的具体情况评估诊疗效果。主持人:曹岗|智源研究院常务副院长主持人:李强|高瓴创投合伙人报告一：智源源创计划发布张宏江|智源研究院理事长智源研究院张宏江理事长发布“源创计划”，旨在支持人工智能领域创业项目加速，促进AI原创成果转化落地。“源创计划”通过整合技术、人才、场景、资金等资源，为AI创业团队开放大规模智能模型和数据集等生态资源，使AI创业之路更加平坦，实现从AI源头创新到源头创业的跨越！科学家创业之路。张宏江提到，受益于中国广阔市场及一系列支持政策，当今中国是科技创业最好时代，真正进入技术创
327、新和技术创业时代。在智能化时代，AI会像电力一样为各行业赋能，使得产业决策机制产生了根本变化，智能变成中间一个非常核心的能力，这为AI科学家创业带来巨大机会。科学家们需要把握住这种机会，使这些资源能够变成创业资源。同时，他提出，对于科学家创业，需要注意客户需求、技术与产品鸿沟、尊重商业规律、了解自己能力边界、把握创业节奏等方面，这些也可能适用于任何创业者。“源创计划”：加速从AI源头创新到源头创业的实现路径。“源创计划”将发挥智源研究院独有的AI生态优势，提供资金、空间、AI人才网络、智能模型、数据集等资源，为学术界和产业界的AI创业团队提供最专业的加速服务。其中，为学界AI科学家提供一对一的
330、阶段的资金，高瓴还将自身定位为AI创业的连接器、催化剂、加速器，能提供帮助科学家拎包入住式创业服务，希望能支持到更多人工智能领域创业者。报告六：AI医疗的基础设施建设袁洋|清华大学助理教授，智源青年科学家清华大学助理教授袁洋认为，AI交叉落地困难，很大程度是因为人们的思维定式。工业革命刚开始时，很多人已经可以看到机器将替代人，但是大家对汽车是否会替代马匹却并不确定。汽车需要铺设大量的公路网，这并不是一件简单的事情。而马匹，却可以走任何道路，包括石子路、泥路、山路、崎岖的小路，等等。所以，马匹是否会被机器替代？如果替代，会是什么形式？是一匹能够适应各种地形的机器马（所以自动适应各种地形），还是一
332、产生的。AI赋能生命健康与生物医药论坛AI创业论坛AI创业论坛人工智能经过十年的发展，如今已经成为经济发展的新引擎，AI创业的大环境也日渐成熟。智源研究院除了在基础研究上有重要支持，也同样在加快推进AI原创成果的落地，加快人工智能的深度应用，孵化AI创新企业，在人工智能产业发展中发挥智源力量。在智源大会AI创业论坛上，由智源研究院理事长张宏江发布了“智源源创计划”，意在挖掘、支持和扶持AI创业。主持人曹岗（智源研究院常务副院长）、李强（高瓴创投合伙人）以及嘉宾魏凡杰（北京科创基金投资部执行总经理）、李笛（小冰公司CEO）、星爵（Zilliz创始人兼CEO）、李戈（北京大学副教授硅心科技创始人
333、）和胡渊鸣（太极图形联合创始人兼CEO）等针对AI创业投资的前景与挑战进行了深入的探讨和交流。8889报告三：北京科创基金在人工智能领域投资的布局及思考魏凡杰|北京科创基金投资部执行总经理魏凡杰是北京科创基金投资部执行总经理，他提到科创基金创业的初衷是通过引导投向高端硬技术、引导图像原始创新、引导落地从而帮助科学家创业，支持科技成果转化。科创基金集中于投入早期科研项目，为其对接产业资源，并与北京市的各大高校、院所合作，引导市场化的投资机构与知名投资人参与高校的成果转化，以在原始创新、人工智能领域不断加强与CVC合作为投资战略。科创基金的投资策略包含“2+4+X”，2指新兴技术，包括人工智能、半导体、生物医药、医药健康。4是装备材料，X是新兴技术探索、量子科技等。在人工智能领域，科创与中科院、联想创投、北大等合作发起和深度参与了人工智能基金、北京大学科技成果转化基金等。截止至2020年12月