蒙特利尔学习算法研究所（Mila）创始人和科学主任、蒙特利尔大学教授、图灵奖得主
导读
要点速览
AI启蒙之路：阿西莫夫科幻小说、可编程计算器、神经网络的新大陆
你的父母来自巴黎，一家人从法国搬到了加拿大。童年经历是如何影响你后来的生活经历和工作风格的？
大模型前身，注意力机制，图灵奖
您在过去几十年取得了许多重要的成就，您认为其中最重要、最有价值的工作有哪些？
我有一种强烈的直觉，神经网络可以解决其他主流方法无法应对的泛化问题。
许多统计方法都会尝试使用不同单位或不同模式来覆盖可能的输入空间。问题在于，这种方法在低维度情况下效果很好，但是当数据维度增加时，传统的统计方法可能会迅速失效，发生“维数灾难”。
通过对维数灾难进行理论分析，我认为神经网络有可能克服这个问题。神经网络的多层结构使其能够逐层提取和转换输入数据的特征，从而能用较少的自由度表示非常复杂的函数。因此，神经网络的深度让它在处理高维度数据时具有巨大的优势。
2019年第7届海德堡桂冠论坛（HeidelbergLaureateForum,HLF）中，YoshuaBengio发表题为“面向人工智能的深度学习(DeepLearningforAI)”的演讲，演讲中围绕维数灾难(CurseofDimensionality)问题展开探讨。
与GeoffreyHinton和YannLeCun交流工作是什么样的体验？会经常发生思想上的碰撞吗？
研究者之间想法各异是很正常的，这就是科学运作的方式，新想法通常在求同存异的过程中产生。我们都有自己的实验室、有自己的学生，可以自由地做任何想做的事情。所以，我们从来不会评判谁是对的、谁是错的，也不会将自己的想法强加于其他人。
2023年10月22日，YannLeCun在社交媒体平台X上发布合影，并发帖表示：提醒大家，人们可以在重要的事情上存在分歧，但仍然可以成为好朋友。合影中，YoshuaBengio（左）、GeoffreyHinton（中）、YannLeCun（右）
不能把大模型的未来全押注在ScalingLaw之上，
得益于ScalingLaw，大模型性能持续提升。您如何看待大模型的未来发展？最终会通向何方？
没有人能预测未来。顺便澄清一下，ScalingLaw并不是理论定律，它只是基于经验性观察总结出的规律。好比我们将数据绘制成点图，并且拟合成一条直线，但我们不知道这条线会延伸多远、会在哪里停止。ScalingLaw可能是一种可行的方法。但仅仅扩大模型规模可能不够，因为我们无法确保ScalingLaw能持续发挥作用。
所以，我们很难预测大模型未来会如何发展。但通常情况下，当我们看到它呈现出良好的发展趋势时，可以对它抱以乐观的期待。我和大多数人都相信，我们会持续看到大模型的进步。不过当然了，我过去也曾做出过错误的判断，我没想到Scaling带来了ChatGPT，这是我未曾想到的。
关于如何提升大模型的性能，AI领域的研究者们仍然存在很大的分歧。有人认为，只需扩大模型规模、增加算力和数据、提升计算效率等，就可以让大模型达到与人类相同水平的能力。其他研究者则认为，我们还需要在方法层面取得一些根本性突破，才能弥合人工智能与人类之间的差距。我的看法是，为了解决大模型目前存在的问题，我们需要探索ScalingLaw之外的新方法。
我不想把大模型的未来押注在一项尚且没有强有力证据来证明的事物（ScalingLaw）之上。万一扩大模型规模不是提升模型性能的唯一法宝，我认为需要做更充分的准备。
AGI在现阶段当然不存在，但在未来我们很可能会实现AGI，只是目前还没有实现罢了。这是两个不同的问题，Yann似乎在试图回避关于未来AGI是否会存在的问题。但当我问他时，他也公开表示，他认同我们正在朝着构建AGI的方向前进。
Yann不喜欢AGI这个词，他更喜欢称之为人类水平的AI。但重点是我们在不断取得进步，因此有理由相信，未来一定会创造出在许多任务上和人类能力相当的机器。现在在一些公开场合，Yann也认同在未来几年或几十年可能实现AGI。但他始终强调我们还没有发展到那个阶段，所以不愿意讨论风险问题。
问题在于，未来五年、十年或二十年AI会如何发展，以及这会给人类社会带来怎样的风险。
不，我不认为这是虚张声势。Ilya真的打算实现这个目标，而且他在最近几年取得了很多进展。我们应该认真看待他的计划。或许现在Ilya不知道能否实现AGI，但重点是，这是他的目标，并且许多其他公司也有相同的目标。所以我认为这是一个认真的目标，我们不应该轻易地认为这绝不可能实现，因为我们也不知道未来会如何发展。
现阶段研究重点：
如果能回到20、30岁，
1945年原子弹在日本广岛和长崎爆炸后，原子弹之父奥本海默成为美国的“普罗米修斯”，他本人陷入深彻的反思与懊悔，对核武器滥用带来的灾难性后果深感忧虑。
在AI治理方面，我们需要达成类似的国际条约，在国际层面达成共识。各国不应毫无约束地自行研发人工智能技术，尤其不能将AI用于军事目的，而是应该把所有资源集中起来构建安全的AI，并确保它不会被用于对抗人类。
在此基础上，我们可以共享AI带来的好处。AI在医疗、环境、贫困问题等方面都可以带来积极的影响，它也有潜力推动科学领域的变革。因此，我们需要在享受AI带来的进步和避免AI带来的灾难之间寻求平衡。
在AI安全上，我们不能各自为政，必须携手同行。
GeoffreyHinton在AI安全方面与您持有相同的观点，他甚至曾表示对自己的毕生工作感到后悔，那么我们应该以悲观还是乐观的心态看待AI的发展？面对AI带来的风险和威胁，你会不会对自己的工作感到后悔或遗憾呢？
我想，我应该在过去的工作中更加重视AI可能带来的风险。甚至在10年前，我就读过听过人们谈论AI的风险，但我并没有给予足够的重视。这是我曾犯下的错误。
过去的就让他过去吧，我们无法改变。总体而言，我是一个乐观主义者，但我也看到了AI可能带来的巨大风险。乐观还是悲观，其实无关紧要。重要的问题是，我能做什么，我们每个人能为一个更好的世界做什么。
每个公民都可以有所作为。因为如果更多的公民意识到了AI可能带来的风险，政府就会更加重视。在每个国家、每个政体中，政府都希望尽力获得更多民意支持。
我会尽力而为。幸运的是，我得到了很多认可和支持，并且能够在AI安全领域继续开展研究。因此，我正在将更多精力转移到这方面，尽我所能减少AI带来的风险。
从我的教学经验来看，翻转课堂（flippedclass）行之有效。我会给学生们布置作业，让他们在课前学习材料，在课堂上随机选择一些学生针对材料进行课堂展示，其他学生需要提出问题或回答问题。这样他们就帮我把活儿干了（笑）。
Bengio在课堂教学中
关于我们
清华大学人工智能国际治理研究院（InstituteforAIInternationalGovernance,TsinghuaUniversity，THUI-AIIG）是2020年4月由清华大学成立的校级科研机构。依托清华大学在人工智能与国际治理方面的已有积累和跨学科优势，研究院面向人工智能国际治理重大理论问题及政策需求开展研究，致力于提升清华在该领域的全球学术影响力和政策引领作用，为中国积极参与人工智能国际治理提供智力支撑。