下一代人工智能

开通VIP,畅享免费电子书等14项超值服

首页

好书

留言交流

下载APP

联系客服

2021.03.31

摘要:

人工智能和机器学习的最新研究在很大程度上强调了通用学习和越来越大的训练集以及越来越多的计算。

相反,我提出了一种以认知模型为中心的混合,知识驱动,基于推理的方法,该方法可以为比当前可能的更丰富,更健壮的AI提供基础。

尽管没有人完全知道深度学习或人工智能将在未来几十年发展,但是如果我们要达到一个新的水平,那么既要考虑过去十年所学到的知识,又要研究下一步应该研究的东西。

从某种意义上说,这是一个微不足道的目标,既不像“超人”或“人工智能”那样雄心勃勃,也没有像它那样无边无际,但也许是迈出重要的一步,并且是可以实现的,如果我们要实现这一目标,那是至关重要的一步。创建我们可以信赖的人工智能,无论是在我们的家中,在道路上,在医生的办公室和医院,在企业中还是在社区中,我们都可以信赖。

简而言之,如果我们不能指望人工智能能够可靠地表现,那么我们就不应该信任它。(当然,事实并非如此:可靠性不能保证可信度;相反,可靠性不能保证可信度。这只是许多前提条件之一,包括价值和良好的工程实践;请参阅Marcus和Davis(Marcus&Davis,2019)进行进一步讨论。)

§

有人可能会将强大的AI与例如狭义的智能,可以很好地完成单个狭窄目标(例如下棋或识别狗的品种)的系统进行对比,但这些系统往往以非常单一的任务为中心,并且不健壮且无法转移到甚至适度不同的环境(例如,到不同尺寸的电路板,或从一个具有相同逻辑但字符和设置不同的视频游戏到另一个视频游戏),而无需进行大量的重新培训。当将这些系统应用到要在其上进行训练的确切环境时,它们通常会表现出令人印象深刻的良好效果,但是,如果环境与他们在其上进行训练的环境有所不同,有时甚至是很小的差异,我们通常就无法指望它们。这种系统在游戏环境中已显示出强大的功能,但在现实世界的动态,开放式流程中尚未被证明是足够的。

还必须将强大的智能与我称之为点画式智能进行对比,点智能在许多情况下都有效,但在许多其他情况下却失败了,表面上看起来很相似,以某种无法预测的方式。图1展示了一个视觉系统,该视觉系统通常可以识别校车,但是在积雪的道路中(左)无法识别翻倒的校车(左),而阅读系统(右)可以正确地解释一些句子,但在阅读过程中却失败。存在无关的干扰物。

相反,到目前为止,深度学习技术已证明是数据饥渴,浅薄,易碎且泛化能力有限(Marcus,2018)。或者,正如FrancoisChollet(Chollet,2019年)最近所说的那样,人工智能一直未能达到其理想:尽管我们能够设计出在特定任务上表现出色的系统,但它们仍然存在明显的局限性,脆弱性,数据量饥饿,无法理解与培训数据或创建者的假设略有不同的情况,并且在没有人类研究人员的大量参与的情况下无法调整自己的工作方式来应对新颖的任务。

用FacebookAI研究人员团队的话说(Nieetal。,2019)

“越来越多的证据表明,最先进的模型学会了利用数据集中的虚假统计模式……而不是像人类那样灵活而可概括地学习意义。”

我们怎样才能将AI提升到一个新的水平?

我认为,如果不首先开发具有我和ErnieDavis所说的深刻理解的系统的能力,我们就不会获得强大的情报,这不仅具有关联和辨别复杂数据集中细微模式的能力,而且还具有查看任何场景并解决一些问题,例如记者可能会问:谁,什么,什么地方,为什么,何时以及如何。

在美好的一天,像被广泛讨论的神经网络GPT-2这样的系统可以产生故事和类似的给定句子片段,可以传达表面上似乎反映出深刻理解的东西。例如,给定一个句子片段(以粗体显示),例如“两个士兵走进酒吧”,它通常可以产生流利且听起来似真实的连续感,例如人,酒吧,饮料和金钱之间的关系:

两名士兵走进摩苏尔的一家酒吧,把所有的钱都花在了喝酒上。

但是,无论许多GPT-2例子看起来多么引人注目,事实都是它的表示很单薄且不可靠,类似于Nie等人(2019)所指出的那样,通常在密切检查下会崩溃(Marcus,2020)。这是两个典型案例,取材自我于2019年12月在NeurIPS(Marcus,2019)上提出的开发中基准测试。

·昨天我把衣服放在干洗店里了,还没捡起来。我的衣服在哪里?在我妈妈的房子里。

·原木上有六只青蛙。两只离开,三只加入。现在原木上的青蛙数是十七。

首先,GPT-2可以正确预测查询片段后面的元素类别(即位置),但无法跟踪干洗位置。在第二篇中,GPT-2再次正确预测了正确的响应类别(在这种情况下为数字),并且再次无法掌握细节。正如Marcus(Marcus,2020;Marcus,2019)所讨论的那样,这种错误非常普遍。显然,我们将需要更稳定的基材以实现坚固性。

一切照旧主要集中在稳步改善深度学习工具箱中的函数逼近和组合工具,以及收集更大的训练集并扩展到越来越大的GPU和TPU集群。可以想象通过收集更大的数据集,以各种方式扩充这些数据集以及在基础架构中纳入各种改进来改进像GPT-2这样的系统。尽管这些方法具有价值,但需要进行更根本的重新思考。

可能会采用更多激烈的方法。例如,YoshuaBengio为大幅扩展深度学习工具包提出了许多复杂的建议,包括开发通过对分布变化的敏感性统计提取因果关系的技术(Bengio等人,2019)和自动提取模块化的技术。结构(Goyaletal。,2019),我都十分同情。

但我认为这还不够,可能需要更强有力的药物。特别是,本文的建议,即我们必须重新集中精力,致力于开发一个框架,用于构建能够常规获取、表示和操作抽象知识的系统,使用这些知识来构建、更新和推理复杂的外部世界内部模型。

从某种意义上说,我将要咨询的是回归到三个问题:经典人工智能知识、内部模型和推理,但希望以新的方式,用现代的技术来解决它们。

浏览一下机器学习领域最新论文的标题,你会发现很少有人引用这些观点。一小部分人会提到推理,另一小部分人可能会提到实现常识的愿望,大多数人会(故意地)缺乏丰富的认知模型,比如个人和物体,它们的属性,以及它们之间的关系。

例如,一个像GPT-2这样的系统,做它所做的事情,不管是好是坏,没有任何明确的(直接表示和随时共享的)常识知识,没有任何明确的推理,也没有任何它试图讨论的世界的明确的认知模型。

从70年的人工智能研究中可以得到的最大教训是,利用计算的一般方法最终是最有效的,而且在很大程度上……研究人员试图利用人类对该领域的知识,但从长远来看,唯一重要的是利用计算。…人类知识方法倾向于使方法复杂化,使它们不太适合利用利用计算的一般方法。

在某种程度上,将人类知识构建到机器学习系统中甚至在机器学习界被视为作弊,当然也不可取。在DeepMind最有影响力的论文之一“掌握围棋的游戏而不需要人类知识”中,其目标是完全放弃人类知识,以便“学习、制表、超人在挑战领域的熟练程度”(Silver等人,2017)。如果能从大规模的语料库中归纳出常识,并且有最小的先验约束,那么机器学习社区的一大群人将非常高兴。【当然,盲目地同化所有人类所说的一切,都会以自己的方式产生问题。正如ConceptNet的主要维护者RobynSpeer所说,我们的雄心壮志应该更好:“我们希望避免仅仅因为电脑对人来说很糟糕就让电脑对人来说很糟糕。我们希望提供的(知识表达)不仅是技术上最好的,而且在道德上也很好。】模型构建也被证明是一项艰苦的工作,而且普遍的看法是,如果能跳过这一步,生活会更轻松。

问题是,即使有大量数据,也有像GPT-2(Radford等人,2019)那样的Transformer(Vaswani等人,2017)这样的基础,当代神经网络收集的知识仍然是零散的和点状的,可以说是有用的,当然令人印象深刻,但永远不可靠(Marcus,2020)。

上面的例子(如果你把洗好的衣服放在家里,显然不可能还在你妈妈家里)和更明确的GPT-2测试中都暗含着这种不可靠和不可靠,比如:

如果打破玻璃瓶水,水可能会滚动。

如果打破玻璃瓶水,水可能会破裂一些并溅到地板上。水会产生气泡,当瓶子中的水量增加时气泡会膨胀。

如果您打破了一个装有玩具兵的玻璃瓶,玩具兵可能会跟随您到那里。

当纯粹的计算能力应用于开放式领域,如会话语言理解和对世界的推理时,事情就不会完全按照计划进行。结果总是过于尖刻和零散,不可靠。

是时候反思一下了:如果我们接受了深度学习的教训,但人类的知识和认知模式再次成为寻求人工智能的一流公民,我们的系统会是什么样子?

许多认知科学家,包括我自己,都以一种循环的方式来对待认知:有机体(例如人类)从外部吸收感知信息,他们基于对信息的感知建立内部认知模型,然后做出尊重的决策。这些认知模型,其中可能包括有关外部世界中存在哪种类型的实体,它们的属性是什么以及这些实体之间如何关联的信息。认知科学家普遍认识到,此类认知模型可能不完整或不准确,但也将它们视为有机体如何看待世界的关键(Gallistel,1990;Gallistel&King,2010)。即使是不完美的形式,认知模型也可以作为世界的有力指南。在很大程度上,有机体在世界上的繁荣程度取决于这些内部认知模型的良好程度。

电子游戏实质上是按照类似的逻辑运行的:该系统具有某种世界内部模型,并且该模型会根据用户输入(以及游戏模拟世界中其他实体的活动)定期进行更新。游戏的内部模型可能会跟踪角色的位置,角色的健康状况和所有物等。)游戏中发生的事情(用户朝特定方向移动后是否发生碰撞)是该模型动态更新的功能。

语言学家通常根据一个相似的循环来理解语言:句子中的单词被解析成一个语法,映射到一个语义上,这个语义指定了各种实体参与的事件之类的事情。该语义用于动态更新世界模型(例如,各种实体的当前状态和位置)。机器人学的许多工作(虽然不是全部)都是以类似的方式进行的:感知、更新模型、做出决策。(有些工作,特别是对物体抓取的端到端的深度学习不起作用。)

作为热身运动,可以考虑将简单的任务作为较大挑战的替代品。假设您正在构建一个机器学习系统,该系统必须基于少量数据来获得广泛范围的概括,并且您将获得少量这样的训练对,其输入和输出均表示为二进制数:

对于任何人来说,很快就会发现这里有一个笼统的概括(称为“规则”),例如恒等式的数学定律f(x)=x+0。适用于新案例[f(1111)=1111;f(10101)=10101,依此类推]。

令人惊讶的是,一些神经网络体系结构(例如,多层感知器,最近被一本教科书描述为深度学习的典型例子)遇到了麻烦。这是一个多层感知器的示例,输入在底部,输出在顶部,中间是一个隐藏层。对于任何接触过神经网络的人来说,它应该看起来很熟悉:

当一切顺利的时候(例如,如果架构设置正确,并且没有陷入学习的局部极小值),它还可以推广到其他示例,这些示例在重要方面与所看到的示例相似。在“培训分配范围内”,例如:

但是,在训练分布之外进行泛化却是完全不同的局面:

这样的例子表明,尽管在训练分布范围内的案例表现良好,多层感知器神经网络毕竟还没有学习到身份关系。如果同一系统仅针对偶数在f(x)=x上进行训练,则不会将身份函数扩展到奇数,这不在训练分布范围内(Marcus,1998)。举几个例子,每个输出节点,包括最右边的代表“1”位的节点,都应以类似的方式处理:我们采用了最左边的位抽象为最右边的位的抽象概念。经过反向传播训练的多层感知器对不同的东西有反应。最右边的节点始终为零,因此网络将继续预测最右边的节点将始终为零,而不管输入的性质如何,例如,得出f(1111)=1110。网络以其自己独特的方式进行了概括,但并未概括人类自然会发生的身份关系。

添加隐藏层不会改变网络的行为(Marcus,1998);添加具有更多节点的隐藏层也不会改变(Marcus,1998)。当然,可以将任意数量的解决方案组合在一起来解决特定的问题(仅从偶数、二进制示例中学习身份),我在这里仅使用简单的身份示例,仅用于说明目的,但是在训练分布之外进行外推的问题很普遍,并且越来越得到认可。JoelGrus在这里给出了一个类似的例子,游戏fizzbuzz和LakeandBaroni(Lake&Baroni,2017)展示了一些现代自然语言系统如何容易受到类似问题的影响,无法以各种方式将抽象模式概括为新单词。Bengio在最近的NeurIPS演讲(Bengio,2019)中对现存的中枢神经网络的能力进行了限制。在规范的神经网络架构中,广泛的共性(如同一性)的非均匀扩展是非常普遍的,在我看来,它仍然是进展的主要障碍。

从本质上讲,某些种类的现存神经网络(例如此处讨论过的反向传播训练的多层感知器)在两方面表现出色:记忆训练示例,以及在围绕这些示例的点云内插点,这些点围绕超维空间的某些簇(我称之为在培训空间中进行概括),但在培训空间之外(在Bengio的措辞中,即培训分布)中,它们的推广效果很差。

1.特质:在开放式领域中,如果系统缺乏可靠的方法来概括超出训练示例空间的内容,则不能信任这些系统。如果你把每个单独的系统看作一个函数逼近器,那么目前流行的系统往往擅长于记忆示例,并且擅长于训练示例附近的许多(尽管不是全部)示例,这使得它们对于围绕分类的许多应用程序很有用。但是,如果超出培训范围,他们就很穷了。例如,最近的一个数学学习系统擅长于1+1=2;1+1+1=3到1+1+1+1+1=6,但在1+1+1+1+1+1+1=7和所有更大的例子中都失败了。(想象一下,在一个计算机程序中编写一个FOR循环,其中只有小于7的计数器值才能信任执行)。(相比之下,微软Excel的Flash-fill是一种基于归纳程序综合的符号系统,在许多情况下更有效(Polozov&Gulwani,2015)。

2.过分依赖训练制度的具体细节:尽管所有正常的人类学习者都掌握了他们的母语和对世界的理解,但尽管环境千差万别,神经网络往往对确切的细节非常敏感,例如训练项目的呈现顺序(因此有一篇关于神经网络“课程”的文献)。同样地,三十年来人们已经知道,它们容易受到灾难性干扰的影响,即早期的关联被后来的关联覆盖(McCloskey&Cohen,1989),这使得它们对项目呈现的顺序非常敏感。潜在的解决方案仍在定期提出(McClelland,2019年),但问题仍然存在。同样,正如最近的一篇论文(Hilletal.,2019)所说,“网络表现出的泛化程度在很大程度上取决于给定任务实例化的环境细节。”

特质和无法推断超出训练分布范围与我们许多常识性知识的普遍性相矛盾。这也使因果关系难以估量;另见Pearl和Mackenzie(Pearl&Mackenzie,2018)。

从引言中扩展一个例子,大多数普通的成年人和儿童将认识到(大概是从特定的经验中得出的)以下抽象的因果归纳是正确的:如果您打破了一个盛装液体的瓶子,一些液体将会(其他事情正在发生)相等)可能会越过瓶子。

这样的真理是抽象的,因为它们不仅适用于某些特定项目,而且适用于大型的,不限成员名额的实体类别,而与瓶子的颜色或形状或瓶子的大小无关,无论瓶子是否装有水,咖啡,或不寻常的软饮料。我们希望对于装有滚珠轴承或游戏骰子的瓶子也能有类似的概括,即使我们以前对破碎瓶子的经验几乎只涉及盛装液体的瓶子。

几乎每个人也都会意识到以下概括是不切实际的:如果您打破了一个盛装液体的瓶子,那么一些液体(其他东西将相等)可能会卷走300米。

同样,无论个人经验如何,我们都可以通过多种方式扩展此知识,因为对于大小不一的瓶子,甚至比以前遇到的瓶子大或小的瓶子,这种主张都不太可能成立。

在这种意义上,我们如何代表和操纵并获得抽象的知识,不仅涉及特定实体,还涉及整个事物类?

外推的挑战意味着像反向传播训练的多层感知器这样的通用工具本身并不是适合该工作的工具。相反,我们必须找到一种替代的机制来学习,表示和扩展抽象知识。

2.1.1变量上的符号运算提供了唯一的已知解决方案,但解决方案是局限的

解决方案变量上的符号运算提供了一个潜在的答案-每天几乎每秒使用数万亿次的解决方案,几乎是世界上所有软件的基础。特别是,实际上,每个计算程序都包含四个基本概念:变量,实例,将变量绑定到实例的绑定以及对变量的操作。

这些想法中的每一个都是小学代数所熟悉的,其中像x和y这样的实体是变量。特定数字(2、3.5等)是这些变量可能绑定的实例(例如,x当前可能等于3)。操作包括加法和乘法。这些使得可以表示诸如y=x+2之类的关系,这些关系自动扩展到某个类中的所有值(例如,所有数字)。将变量连接到实例的过程有时也称为变量绑定。

当然,计算机程序是建立在同一根基石上的。算法主要是根据对变量执行的操作来指定的。将变量绑定到实例,调用算法,执行操作,并返回值。

重要的是,核心操作的指定方式通常适用于某个类的所有实例(例如所有整数、所有字符串或所有浮点数)。核心操作通常包括一些基本操作,如算术运算(加法、乘法等)、比较(x的值是否大于y的值)和控制结构(对变量n当前绑定到的任何值执行n次操作;如果x的值超过y的值,则选择备选方案a),否则选择备选方案b等)。一级近似(忽略bug、程序员逻辑中的错误等),这意味着正确实现的函数适用于某个类中的所有输入,完全独立于它们可能暴露于或不暴露于的输入。

至关重要的是,通常将系统对变量的核心操作构建为独立于经验而系统地工作。例如,微处理器中的循环移位操作的机制是由一组并行的子操作定义的,每个子操作一个位,直到微处理器字的宽度。不管以前是否使用过该操作,其操作都相同,因此无需学习。程序员可以放心地预期,无论经验如何,换档操作都将起作用,并且无论经验如何,将来都将以此方式继续进行。所有这些机制(变量,实例,绑定和操作)的优点在于,它允许程序员以某种抽象级别指定事物,并以某种可靠性作为副产品。

总的来说,关于变量,绑定,实例和对变量的操作的这四个假设构成了符号操纵的核心(Newell,1980;Marcus,2001)。(符号本身只是对其他系统使用的事物进行编码的简单方式,例如用于表示ASCII代码中的字母的二进制数字模式,或允许神经网络中的输出节点表示特定单词的编码据我所知,目前所有的系统都使用它们;请参阅Marcus2001,第2章。某些符号处理系统可能只有少量的操作,例如加法,连接和比较,而另一些符号可能具有更丰富的操作(例如,复杂逻辑公式的统一),就像微处理器的大小可能有所不同一样。他们的核心指令集。可以在符号处理体系结构上构建递归,但这并不是绝对的逻辑要求。

正如我所说(Marcus,2001;Marcus,1998;Marcus,Vijayan,BandiRao,&Vishton,1999;Berent,Marcus,Shimron,&Gafos,2002;Berent,Vaknin,&Marcus,2007),某种形式的符号操纵似乎对人类认知是必不可少的,比如当一个孩子学会了一种抽象的语言模式,或者一个像姐妹这样的词的含义可以被理解应用于无限多的家庭,或者当一个成年人以一种新颖的方式扩展了一种熟悉的语言模式,这种方式超越了训练分布(Berentetal.,2002;Berentetal.,2007)。一些最有力的证据来自1999年的一项研究(Marcus等人。,1999年),我的同事和我展示了7个月大的婴儿能够识别简单的抽象模式,比如拉塔塔中的ABB模式,并将它们从一组训练样本中推断出完全由不同音节组成的新字符串,这些音节在语音上与他们的训练集没有重叠。随后的研究表明,即使是新生儿似乎也有能力进行这种推断。Gallistel和King(Gallistel和King,2010)认为变量的存储和检索对于动物认知至关重要。例如,蜜蜂似乎能够将太阳方位角功能扩展到它们未曾接触过的光照条件。(Dyer和Dickinson,1994年)。

符号处理的通用机制也为结构化表示提供了基础(Marcus,2001)。例如,计算机程序通常使用由符号构成的树形结构,这些符号通过对变量的操作组合而成,以表示各种各样的事物(例如层次结构文件夹或目录)。

然而,在历史上,主流的深度学习在很大程度上试图摆脱符号操纵机制,而这种机制往往是有意回避的,这是为什么神经网络提供了一种替代经典范式的号召的一部分。鲁梅尔哈特和麦克莱兰(1986,#39979;)在著名的PDP书籍中,将符号操纵视为一种边缘现象,而不是人类计算的本质。2015年,辛顿将符号比作“发光的以太”,认为将符号逻辑作为人工智能的一个组成部分的追求是,

认为光波只能通过在发光的以太中造成干扰而在太空中传播的信念,这是不正确的……与科学家……被令人信服的但不正确的类比误导了,他们只知道他们知道具有所需特性的系统。

令人惊讶的是,在神经网络上的大量工作中也缺少个人的数据库式记录之类的想法,而仅在很小的研究中发现了诸如层次结构化句子之类的复杂结构化表示形式,而这两者的规范输入和输出是简单的矢量或二维位图,而巧妙地避免了针对个人的分层数据结构和记录。(DeepMind有趣的新MEMO架构(Banino等人,2020年)几乎代表了一个记录数据库。)

并非一定要这样。例如,原则上,人们可以尝试构建与符号操纵兼容的神经网络采用的术语中的“实现连接主义”,也可以尝试建立与之兼容的神经网络。无需依靠符号操纵原理(“消除联系主义”)或两者之间的某种混合,就可以进行操作。到目前为止,绝大多数工作都是消除主义的,但这种优势反映了社会学事实,而不是逻辑上的必要性。

本文的第一个主要主张是:要建立一种强大的,知识驱动的AI方法,我们必须在工具包中使用符号处理机制。太多有用的知识是抽象的,如果没有表示和操纵抽象的工具就无法做到,并且迄今为止,我们知道的唯一可以可靠地操纵这种抽象知识的机器就是符号操纵的设备。

遗憾的是,就变量本身而言,运算的手段对学习没有任何帮助。【归纳逻辑编程(Cropper,Morel和Muggleton,2019年)是一种纯粹基于规则的学习方法,值得一些考虑,尽管不在本文的讨论范围之内。】

2.1.2混合动力通常是有效的

混合动力并不是什么新鲜事物:Pinker和我在三年前(Marcus等,1992)提出,关于儿童如何学习英语过去时的最好解释是混合动力:一条规则(添加到动词词干)形成规则动词的过去式,以及类似神经网络的系统来获取和检索不规则动词。长期以来,明显需要将符号知识与感知知识相结合(例如,人们希望能够通过将对马的外观的感知知识与将斑马比作有条纹的马相类似的语言定义相结合来识别斑马【现有的零射击学习文献试图整合各种形式的多模态知识,但据我所知,目前没有一个系统能够利用字典定义中的精确信息。】)。

像RonSun(Sun,1996)这样的计算机科学家在整个1990年代都倡导混合模型。Shavlik(Shavlik,1994)表明,有可能将(有限的)逻辑子集转换为神经网络。D’AvilaGarcez,Lamb和Gabbay(D’AvilaGarcez,Lamb和Gabbay,2009年)是有关神经符号方法的重要早期工作。

好消息是,符号操纵世界和深度学习领域之间的早就应该融化了。例如,YoshuaBengio在我们2019年12月的辩论中谈到了合并可以按名称传递变量的技术,这是一些早期计算机语言中使用的标准符号操作技术。越来越多的努力正在积极尝试将符号和神经网络更紧密地构建在一起,有时出于实际需要,有时出于研究工作以开发新方法。

OpenAI的Rubik求解器(OpenAI等人,2019)(尽管它并未如此推销)是用于解决Rubik立方体的认知方面的符号算法与针对手动操作方面的深度强化学习的混合体。

神经符号模型的基础工作是(D'AvilaGarcez,Lamb,&Gabbay,2009),它检验了符号系统和神经网络之间的映射,并显示了传统神经网络中可以表示的知识种类的重要限制,并从表征和推理能力的角度论证了符号和神经网络在构建混合系统中的价值。在一级近似下,传统的神经网络可以被认为是命题逻辑的引擎,并且缺乏表示量化语句的好方法,就像在谓词演算中使用诸如every和some之类的量词一样。逻辑张量网络(Serafini&Garcez,2016)旨在在深度张量神经网络中实现形式逻辑。

统计关系学习(Raedtetal.,2016)代表了另一种有趣的方法,旨在将逻辑抽象和关系与概率和统计结合起来,正如Vergarietal.最近关于概率电路的工作一样(Vergari,DiMauro,&VandenBroek,2019)。Domingo的Markov逻辑网络试图将符号操作与机器学习的优势结合起来(Richardson&Domingo,2006)。Uber的Pyro(Bingham等人,2019年)

Arabshahi等人(Arabshahi,Lu,Singh,&Anandkumar,2019)展示了如何通过用作堆栈的外部内存来扩充树LSTM。Fawzi等人(Fawzi,Malinowski,Fawzi,&Fawzi,2019)最近提出了一个用于搜索多项式不等式证明的混合系统。Minervini等人(Minervini、Bonjak、Rocktschel、Riedel和Grefenstette,2019)最近提出了一种混合神经符号推理系统,称为贪婪神经定理证明器(GNTP),可用于大规模数据库;Gupta等人(Gupta、Lin、Roth、Singh和Gardner,2019)也在推理方面取得了进展。艾伦人工智能研究所(AllenInstituteforAI)的亚里士多德(ARISTO)是一个复杂的多部分混合系统,在八年级科学考试中显著优于其他系统(Clarketal.,2019)。Battaglia已经发表了许多关于物理推理系统的有趣论文,这些系统集成了符号图和深度学习(例如,Cranmer,Xu,Battaglia,&Ho,2019)

所有这些只是一个快速发展领域的几个例子。现在阻碍胜利者还为时过早,但要构建将符号方法的优势与机器学习的见解相结合的体系结构,还有很多第一步,以便开发更好的技术,从大型、通常是嘈杂的数据集中提取和概括抽象知识。

2.1.3对混合模型和符号操纵的普遍反对意见

尽管人们对研究混合模型的兴趣日益浓厚,并且有多种考虑,但是在机器学习社区的某些地方,人们对符号操纵的厌恶情绪日益高涨。如前所述,例如,杰弗里·欣顿(GeoffreyHinton)认为,欧洲对混合动力汽车的投资将是“巨大的错误”,并将混合动力汽车的研究比作电动汽车时代使用过时的汽油发动机。

以下是我从其他人那里听到的一些常见异议,并对每个异议都做出了简短回应:

·符号在生物学上不合理。对此异议至少存在四个问题(关于相似的观点,另请参见Gallistel和King(Gallistel&King,2010年))。

首先,仅仅因为我们还没有确定支持符号操纵的神经机制并不意味着我们永远不会。已经确定了一些有希望的可能的神经基质(Frankland&GreeneJD,2019;Marcus,Marblestone,&Dean,2014;Legenstein,Papadimitriou,Vempala,&Maass,2016),其他文献指出了理论上合理的神经基质(Marcus,2001)。没有令人信服的证据表明,没有这样的机制根本不可能存在于大脑的湿部。今年我们已经看到树突中的一个小隔间可以计算XOR(Gidonetal.,2020),这增加了单个神经元可能比通常假设的复杂得多的可能性。例如,对符号操作至关重要的变量值的存储和检索可能在单个神经元内起作用(Gallistel&King,2010)。

第二,大量心理学证据(见上文第2.1.1节)支持这样一种观点,即符号操作在大脑中是具体化的,比如婴儿将新的抽象模式扩展到新项目的能力,成年人将抽象的语言模式概括为他们没有直接数据的非本族语的能力,蜜蜂将太阳方位角函数概括为他们没有直接观察到的光照条件的能力。人类还可以学习在外部表示的符号上应用形式逻辑,并编程和调试符号表示的计算机程序,所有这些都表明,至少在某些配置中,神经软件确实可以(在某种程度上,部分受内存限制)操纵符号。我们可以理解语言本质上是无限多样的,从无数的句子中推断出无数的意义。在整个认知过程中,作为变量运算特征的自由概括是普遍存在的。

第三,现有的神经认知证据的缺乏几乎没有告诉我们什么。我们目前还没有详细了解加里·卡斯帕罗夫水平的象棋是如何在大脑中实现的,但这并不意味着加里·卡斯帕罗夫的象棋在某种程度上依赖于非神经机制。

·过去,符号系统/混合系统运行不佳。我经常听到这种说法,但是在我看来,这是一个奇怪的说法。将混合模型描述为明显无效或过时的混合体,这并不是现实的准确描述,而实际上已经对其进行了积极有效的研究,如2.1.2.10节中所述。

·符号操纵/混合系统无法缩放。尽管这里有一些真正的问题需要解决,而且必须花大量的精力来约束符号搜索,以便能够实时处理复杂的问题,Google说

知识图似乎至少是这一异议的部分反例,最近在软件和硬件验证方面取得的大规模成功也是如此。Minervini等人(Minervini等人,2019年)和Yang等人(Yang,Yang,&Cohen,2017年)等论文在构建端到端可区分的混合神经符号系统方面取得了实际进展,这些系统在规模上起作用。与此同时。没有正式的证据证明不可能充分缩放,给予适当的启发,存在。

在过去的三十年中,我看到了很多对符号的偏见,但是我还没有看到对它们的有说服力的论据。

2.1.4确定给定系统是否为混合系统并不总是一件容易的事

一种常见的(虽然不是普遍的)对符号的偏见产生了一个特殊的社会学事实:研究人员偶尔会建立包含符号操纵装置的系统,却不承认(甚至不考虑事实)他们已经这样做了;我在马库斯,2001中给出了一些具体的例子。例如,如上所述,OpenAIRubik的立方体解算器(OpenAIetal.,2019)包含了一个被称为Kociemba算法的符号组件,但只有非常细心和成熟的读者才会认识到这一点。“混合”和“象征”这两个词从未被提及。而“神经”这个词出现了13次。

因为你不能总是通过粗略的检查来告诉我们一个给定的系统是如何工作的,所以从逻辑上讲,有可能无意中构建一台有效地执行符号操作的机器,而没有意识到这样做。事实上,一个网络设计师可能会无意中发现一些与符号FPGA同构的东西,而从来没有意识到它。

正如本吉奥在我们最近的辩论后对话中所建议的那样,深度学习系统可以为符号操纵提供一个真正的替代方案,这是可以想象的:

我们不能想当然地认为任何给定的神经网络都提供了一种替代方法。

评估一个系统是执行“类似符号的计算”的替代方案,还是使用真正的符号操纵操作进行计算的唯一方法是探索映射:考虑该体系结构及其组件是否映射到符号操纵的组件(在某种意义上,化学映射到物理学)。Marr(Marr,1982)的计算水平清楚地表明了这一点:任何给定的计算都可以以多种方式实现,并且不是每个实现都是透明的。化学映射到物理上,但这并不意味着映射很容易被发现。“正确”的神经网络可能映射到符号操纵机器上,也可能映射到符号操纵机器上;真相可能很难辨别。

我坚信,任何健壮的系统都会有某种机制来绑定变量,并在绑定后对这些变量执行操作。但我们看不出来。

为了避免这听起来很奇怪,回想一下映射对于理解神经科学以及它与计算的关系同样重要。无论我们的大脑中实现了什么样的计算,都是在没有任何有意识的决策的情况下实现的;它们是进化的。其中很少有透明的。这是神经科学家和那些致力于以大脑为灵感的人工智能方法的人工智能研究人员的工作,他们对大脑进行逆向工程,以找出存在哪些计算。任何驱动大脑的东西都可能会或不会映射到我们目前的理论。当我们评估大脑如何工作的一些理论时,我们正在评估大脑的机制是否符合这个理论。有些理论将包含与大脑中发生的实际过程同构的结构,而另一些则不会。Knudsen和Konishi(Knudsen和Konishi,1979)对谷仓猫头鹰声音定位的仔细研究是一个很好的例子,说明了一个神经回路最终是如何被破译并映射到基础计算上的;很少有研究项目能与之相媲美。

人工智能中也出现了类似的问题:当一个系统工作时,理解是什么驱动了它的性能是有价值的,但往往是不重要的。

一个系统将所有的经验存储在一个单独的内存中,而不是可以检索和计算出来的,可以用“神经”的术语来描述,但是它的组件可以识别地起到维护变量、绑定、实例和变量操作(如检索)的作用。

如果我们通过某种搜索过程(无论是随机的、试错的、进化的、AutoML的或其他方法)来创建适当的综合系统,我们将解决部分工程问题,但不一定科学地理解是什么使这些模型起作用。后者是逆向工程的工作,是发现和拒绝可能的映射,就像神经科学一样。

如果完美的神经网络降临到我们身上,我们可能会通过广泛的测试发现它是有效的;要理解它是如何工作的,还需要另一个科学发现阶段。如果我们发现一些成功的神经网络,结果发现它的组成部分恰好完美地映射到符号操作上,那么这将不仅是神经网络的胜利,而且也是符号操作的胜利——不管系统设计者的意图是什么。相应地,如果没有一个系统的组成部分映射到符号操纵上,这将是符号操纵的失败。

任何一个通情达理的人都会认识到,到目前为止,理解人类大脑是如何工作的是多么的困难,而当神经网络变得越来越复杂时,同样的道理也会变成现实。人类大脑本身就是一个令人印象深刻的神经网络的例子,它有效地(通过进化)降临到我们身上;它似乎工作得很好,但我们不知道为什么【寻求实现细节和算法描述之间的映射(如果它们存在的话)也可能具有实际价值,因为,例如,一旦发现了那些映射,一些低级的神经网络类计算可能会更有效地在纯符号级别上进行计算。相反,一些被称为神经网络的模型,如Lample和Charton最近关于符号集成的研究(Lample和Charton,2019),经过仔细检查,结果发现有严重的局限性,并且严重依赖于符号处理器(Davis,2019)。对符号和神经成分如何协同工作有一个清晰的、有原则的理解可能是非常有价值的。】

2.1.5总结

符号操作,特别是对变量的操作机制,提供了一个自然但不完整的解决方案,来解决在训练机制之外进行外推的挑战:用对变量的操作来表示一个算法,并且它固有地被定义为扩展到某类的所有实例。它还提供了一个清晰的基础来表示结构化的表示(例如在生成语言学中被视为基础的树结构)和记录个人及其行为属性。

它所缺乏的是一个令人满意的学习框架。混合可以是两个世界的最佳结合的一种方式:从大规模数据集学习的能力,如深度学习所示,以及表示抽象表示的能力,这些抽象表示是世界上所有计算机编程语言的语法和语义货币。我猜想它们是安全获得可靠情报的先决条件。

用于研究混合模型的资源远远少于用于避免符号操纵的“纯”深度学习系统的资源,但第2.1.2节中回顾的来自广泛研究实验室的越来越多的工作,更不用说谷歌搜索的成功,所有这些都表明了对混合体系结构进行更深入研究的价值。

遗憾的是,我们还没有走出困境。将强大的数据驱动学习技术与符号操作的表示和计算资源相结合的混合模型可能是鲁棒智能所必需的,但它们肯定是不够的。接下来我将描述三个进一步的研究挑战。

2.2大规模的、抽象的、有因果关系的知识

考虑到CYC需要付出的努力,以及它对整个领域的影响是多么的小,很难不被GPT-2这样的Transformers所激发。当他们工作得很好时,他们看起来几乎是神奇的,好像他们自动地、几乎毫不费力地吸收了世界上大量的常识知识。从某种程度上说,Transformers给人的感觉是,它将自己所吸收的任何知识与对人类语言看似复杂的理解无缝地结合在一起。

这对比鲜明。然而,知识表示社区几十年来一直在努力用精确的方式来描述容器及其内容之间的关系,而自然语言理解社区几十年来一直在努力进行语义分析,而GPT2这样的Transformers似乎是在不借助于语法的情况下解决了棘手的问题任何明确的知识工程(或语义分析)-无论如何。

例如,在GPT-2中没有知识工程规则,没有相对于容器的液体规格,也没有关于水甚至是液体的规格。在前面的示例中

如果打破玻璃瓶装的水,装满的水可能会流出,会发出飞溅的声音。

从概念H20(化学中水的表达)到单词water都没有映射,也没有动词语义的任何显式表示形式,例如中断和流动。

再举一个例子,GPT-2似乎也对火进行了编码:

点火的一个好方法是使用打火机。

点燃火的一个好方法是使用火柴

与Lenat数十年的以机器可解释的形式对人类知识进行手工编码的项目相比,乍看之下,这既代表了一夜的成功,也代表了惊人的劳动力节省。

问题在于GPT-2的解决方案只是对知识的近似,不能替代知识本身。特别是,它所获得的是近似的统计数据,即单词在大型语料库中是如何共存的,而不是概念本身的清晰表述。换句话说,它是单词用法的模型,而不是思想的模型,前者是后者的近似模型。

如果您在浣熊上穿上服装使它看起来像臭鼬,那将是臭鼬。

如果将飞机喷漆成看起来像龙,那将是龙。

显然,仅了解某个概念中如何使用单词的某些统计属性不足以理解基础概念的本质,例如使飞机变成飞机而不是龙的原因(反之亦然)。这份最近匿名的,正在审查的手稿也提出了类似的观点。

我想起了像NigelRichards这样的Scrabble冠军,他们在不懂法语的情况下赢得了法国Scrabble比赛;各个单词仅用作游戏代币,而与它们的含义无关。本质上,GPT-2可以预测单词序列作为游戏代币的属性,而不会暗示所引用的基本概念。

它做得如此之好,以至于有时会引起“伊丽莎效应”,在这种效应中,幼稚的人对机器的归属要比对机器的实际归属更多,但是除了表面的概念理解之外,别无所求。

如果我们继续探究起火的例子,我们会得到类似的结果

点火的一个好方法是用干燥的棉球遮盖保险丝!

点燃火的一个好方法是使用一品脱大小的炉子

“火”,“融合”,“光”等词都是相互关联的;GPT-2能够做到这一点,但这还不足以让GPT-2引发对火的性质的概念性理解;结果参差不齐。换句话说,就像朱迪亚·珀尔(JudeaPearl)所说的那样,这种异常行为是您试图通过近似统计单词用法的统计曲线来诱导世界如何运转时得到的结果,而不是归纳出对世界的更抽象,因果的理解。【在深度学习社区的某些部分中,有一种积极的努力试图整合因果方法;我的猜测是,如果不在因果知识的表示和操作上增加一些固有的约束,这就不可能成功,很可能导致某种混合网络。】有时行得通,有时却行不通。

一个人不可能用如此缺乏可靠性保证的零件来设计一个健壮的系统。

用如此低的可靠性试图用零件构建系统的一个问题是,下游推理将不可避免地受到影响。拥有知识的全部目的是将其用于行动,解释和决策中。如果您不知道会引起火灾的原因,或者瓶子破裂时会发生什么,则很难推断周围的情况。同样,您不能可靠地进行计划。想象一下,一个家用机器人无法点燃顽固的炉灶,用干燥的棉球花了几个小时,一个又一个地覆盖了一个保险丝。

语言理解也不可避免地会受到影响,因为我们经常根据话语的真实性和语境来消除话语的歧义(Tanenhaus,Spivey-Knowlton,Eberhard和Sedivy,1995)。像GPT这样的系统具有一定程度的词语用法语境,但缺乏对认知语境和合理性的可靠表示。

在充满了如此浅薄的概念理解的系统中,可解释性和可解释性也将变得难以捉摸。将棉球和打火机凝结成同等有效的点火方式的系统可能没有内部一致性来满足可解释性的需求。

如果对基本概念没有连贯的因果理解,则可能没有办法在复杂的实际环境中设计鲁棒性。Pearl是对的:如果我们的系统仅依赖于曲线拟合和统计近似,则它们的推论必然会很肤浅。

这使我想到了本论文的第二个主要主张:归结,表示和操纵通常具有因果关系的结构化,抽象知识的大型数据库的系统方法是强大情报的先决条件。

2.2.1强大的人工智能将需要什么样的知识?

·大部分(但重要但并非全部)知识(请参阅下文)都可以学习。没有人生来就知道打火机会着火,干燥的棉球不会起火,玻璃瓶破裂时可能会做什么。可以想象,可以像CYC那样,将这些知识硬连接到AI系统中,对每个事实进行手工硬连接,但是现代机器学习爱好者显然不愿意这样做。而且由于总是有新知识要收集,因此有必要学习新的抽象机制(通常是因果知识)。

··一个健壮的系统可能利用的知识中,有相当一部分是象征性地表现出来的外部文化知识。例如,维基百科的绝大多数内容都是口头表达的,一个强大的情报机构应该能够利用这种知识。(目前的深度学习系统只能在非常有限的范围内做到这一点。)大部分知识都是根据变量之间的量化关系进行有效编码的(例如,对于所有x、y和z,x、y和z都是人,如果有一个人y是x的父母和z的孩子,那么x就是z的孙子;对于所有x,x是一个物种,x物种的生物体产生的后代也是x物种的后代,等等)。

·健壮的系统需要的知识中有很大一部分可能是抽象的。当前的系统擅长表示特定事实,例如BORN(ABRAHAMLINCOLN,KENTUCKY)和CAPITAL(KENTUCKY,FRANKFORT),但缺少表示和有效处理信息的方式,例如如果瓶子坏了,其他条件相等时,瓶子中的内容物可以逃逸。

·规则和例外必须并存。规则动词(walk-walked)与不规则动词(sing-sang)共存。不会飞的企鹅和其他很多会飞的鸟类共存。机器必须能够以某种方式来表示知识,就像语言学家所说的泛型:知识通常是真实的,但也有例外(飞机会飞,但我们认识到,一架特定的飞机可能会被停飞),甚至不必在统计上准确地反映病例(蚊子携带疟疾是重要的知识,但只有一小部分蚊子实际携带疟疾)。只能获取规则而不能获取例外的系统(例如Evans和Grefenstette(Evans和Grefenstette,2017))是构建能够获取抽象知识但还不够的系统的一个有趣步骤。

·一个健壮的系统可能是因果关系,并支持反事实的知识的一个重要部分。例如,封闭的人并不知道国家有首都,他们知道这些首都在政治上是由人民的行动决定的,而且这些决定有时会被改变。奥尔巴尼是纽约州目前的首府,但如果首府(事实上)被烧毁,我们认识到该州可能会选择一个新的首府。孩子们知道,当玻璃瓶落在坚硬的地板上时,那些瓶子可能会碎。

··人类知识的一些小而重要的子集可能是天生的;健壮的人工智能也应该从一些重要的先验知识开始。在当代的ML中,人们常常强烈地希望将知识和天赋最小化;正如下面第2.2.3节所讨论的,我认为这是一个错误。

让我们更详细地考虑一个案例研究-一个事实(在通常情况下),带盖的茶壶中的水只能从壶嘴出来。

正如读者现在所期望的那样,GPT-2有时会做到这一点。

原则上,我们也许可以通过众包获得这一特定事实,但由于人们很少陈述如此明显的事实,而且更不经常精确地陈述,我们不应该指望它。尽管我们可能需要在我们的数据库中有这样一个事实,例如,如果我们正在构建人工智能来支持一个仿人的老年人机器人的决策,我们可能不会提前预料到这种需要。

如果我们能从更一般的知识中得出这样的事实就更好了,例如,如果我们遇到一个外表陌生的茶壶,我们就会知道它是什么,以及如何与它互动。

ErnestDavis、NoahFrazierLogue和我提出了一个框架(Davis、Marcus和FrazierLogue,2017),可以帮助解决这类挑战:一大套独立动机的逻辑公理,这些公理不是茶壶特有的,都是通用的,主要由大多数普通人在思考后认识到的抽象组成是真的,从中可以对容器做出正确的推断。

·对象是不同的;也就是说,一个对象不能是另一个对象的一部分,也不能在空间上与另一个对象重叠。

·物体占据某个三维范围的区域;它不能是一维的曲线或二维曲面。

·特定数量的液体可以占据特定体积的任何区域。

·封闭容器是完全包裹内腔的一个物体或一组物体。

·直立开口容器是顶部开口的开口容器。

配备了此类知识的探索性机器人(以及将知识与感知模型和认知模型联系起来的其他机械)也许可以推断出带有几乎隐藏的壶嘴的形状异常的水壶的使用和功能:

经过一定的扩展,这样一个系统可以提供一个系统的基础,这个系统可以推理出送纱器的用途,即使人们以前从未见过送纱器;最终,人们希望,这些基础可以作为机器人系统的一个组成部分,可以在一个动作过程中应用这些知识,比如编织。

并推断出新的供料器(或与用户进行交流),甚至是完全不同的供料器:

这种情况在目前的神经网络方法中并没有自然地表现出来。首先,这样做可能需要一个对象的先验概念,而这个对象本身在大多数当前的神经网络中并不容易表示。然而,这些知识需要成为健壮的人工智能的核心部分,我们必须拥有获取这些知识的策略和能够获取、表示和操作这些知识的体系结构——其中一些在本质上似乎是象征性的。

原则上,也许我们提出的公理中有一小部分是天生的,其他人是学来的,尽管到目前为止我还不知道有哪个系统能够学习这类公理。(这里再次强调,具有嵌入式知识的神经符号系统可能会有所帮助。)

容器知识框架,摘自(Davisetal。,2017)

2.2.3固有的知识框架

把我们带到本土主义。虽然没有人可能认为所有的抽象知识都是与生俱来的,但其中一些可能是与生俱来的,而让某些知识与生俱来的论点最终非常简单:你一开始知道的越多,其他知识就越容易学习;如果你能缩小自己的范围,你就可以限制你试图寻找的假设空间寻找。

LeCun关于卷积的开创性工作(LeCun,1989)事实上是对这一点的一个有力的实证证明,表明在数字识别任务中学习,在一个预连线的层次结构配备了平移不变特征检测器(使用卷积)的系统中,准确度更好,相对于一个更简单的体系结构来说。唯一的先天优势,卷积,已经被证明是非常有价值的。

然而(许多,并非所有)机器学习研究者反对在他们的系统中加入更多的固有约束,画出一条看似任意的线,这样网络参数(有多少层,损失函数是什么,使用什么输入节点编码方案等等)对于先天性来说是公平的游戏,但大多数其他事情通常是公平的预计将被学习(马库斯,2020年)。有些人甚至认为这是一个值得骄傲的地方;正如一位研究人员在一封电子邮件中告诉我的那样,“如果你主要对理解'学习’感兴趣,那自然会导致你贬低'手工编码’。”

我在2019年12月与YoshuaBengio的辩论同样具有启发性。他说,预先指定卷积是可以接受的,因为它只需要“三行代码”,但担心将先验知识(先天/先验知识的位)的集合远远扩展到卷积之外,特别是如果这些先验知识需要指定多于几位的信息

正如我在那里向他表达的那样,我不会太担心那些零碎的东西。超过90%的基因组在大脑发育过程中表达(Milleretal.,2014;Bakkenetal.,2016),其中相当数量的基因在特定区域选择性表达,从而产生详细的初始结构。有许多机制可以通过使用少量的基因来指定复杂的结构;本质上,基因组是以半自主的方式构建结构的压缩方式(Marcus,2004);没有理由认为生物大脑仅限于几个“小”先验。凯文·米切尔最近在辩论后的一次跟进中很好地总结了形势。

的确,基因组中没有足够的信息来说明神经发育的确切结果,即大脑中每个神经元的数量、位置和连通性。基因组只编码一组无意识的生化规则,当这些规则在发育中的胚胎的动态自组织系统中发挥作用时,会导致在自然选择定义的操作参数范围内的结果。但这些操作参数有很大的空间,包括我们认为是先天的各种因素。在许多物种中有大量证据表明,根据基因组中的指令,许多不同的先天前驱确实预先连接到神经系统中。

如果基因组有足够的先天先兆的空间,那么现代人工智能系统可能还有更大的空间;我们生活在一个计算机内存以千兆字节和兆字节来衡量的时代,而不是以字节或千字节来衡量的时代。对于人工智能来说,真正的问题不应该是,我们的先验知识库有多小?但是什么样的先验知识能最有效地为学习创造条件呢?就其本身而言,最小化比特数并不是目标。

如果儿童天生具有感知物体、人、场景和地点的能力,那么他们可能会利用自己的感知经验来了解这些实体的属性和行为……然而,如果他们不能在他们的环境中挑出那些实体。儿童如何才能了解某个领域中的实体,这还很不清楚.

肯定是时候考虑一种更自然的方法了。

好消息是,尽管在深度学习社区中人们常常不赞成本土主义,但从历史上看,越来越多的迹象表明对``先验者''更加开放(例如Burgess等人,2019年;Rabinowitz等人,2018年);Maier等人,2017)。

我们应该问的不是我能去掉的的最起码的内在结构是什么?而是我需要什么样的先验呢?以及我现有的体系结构能否有效地将它们合并?我们是否可以建立一个更丰富的具有深层学习基础的内在基础,或者在这个框架中可以方便地内在地表达的东西是否有限制?我们是否需要显式的符号操纵机制来表示其他类型的抽象,比如因果抽象?事实证明,深度学习擅长表达关于物体外观的知识,但不太擅长获取和表达关于物理世界如何运作的知识(Zhang,Wu,Zhang,Freeman&Tenenbaum,2016),关于人类如何相互作用,以及更普遍的因果关系。

其他方法,如概率规划,允许显式表示的符号约束,同时努力学习微妙的统计信息,值得认真考虑。

退一步说,人类对世界的绝大多数了解都是从中学到的:

事实上,船只倾向于漂浮而不是沉没

事实上,如果船只在水线以下形成洞,它们确实会下沉。

打火机比棉球更适合点火

破碎的瓶子会泄漏

一次又一次,几乎没完没了。无论我们拥有什么样的核心知识,都必须有大量的知识来补充。

认为普通人可能知道(或立即承认是真的)数百万或数千万这样的事实并非没有道理;其中绝大多数必须通过经验、明确的指示或其他方式来学习。重要的是,几乎所有这些知识都可以付诸实践,指导行动和决策(例如,如果我们发现船在水线以下有一个洞,我们会选择不上船)。

但重要的是,我们所学到的知识中有相当一部分是因果性和抽象性的,根据上一节的讨论,这可能需要使用某种混合体系结构。

同时,纯粹的预先连线永远不够,因为世界本身在不断变化;例如,总会有新的因果原理与新的技术联系在一起。如果有人介绍一个流行的新玩意儿叫花花公子,我们很快就会知道虚拟机是做什么的,如何打开和关闭它,以及如何让它做自己的事情。正如Gopnik和Sobel(Gopnik和Sobel,2000)优雅地展示的那样,孩子们很自然地做到了这一点;我们需要能够做到这一点的机器。

妥协和创新的必要性再次显现出来。我们显然需要能够获得新的因果知识的系统(可能是神经符号的杂种),但为了获得这种知识,我们可能需要比我们迄今使用的更强大的先验知识。

无论这些框架是用形式逻辑(la-Cyc)表示还是用其他方法表示,也许还没有发明出来,我强烈怀疑它们是朝着健壮智能方向取得任何重大进展的先决条件。再多的天赋也不能代替学习,但不专注的学习是不够的。这个游戏的名字是找到一组先天的先验知识,无论是小的还是大的,这将最有利于学习我们系统最终需要的巨大知识库。

尽管如此,光靠知识是不够的。这些知识必须用推理工具付诸实践,在认知模型的背景下,我接下来要谈到的两个主题。

2.3.推理

在一个著名的轶事,可能更好地在复述,但显然是基于一个核心的真相,传奇演员劳伦斯奥利弗是在现场与年轻的达斯汀霍夫曼,谁放弃了一些睡眠,以使他的角色可能会出现疲惫不堪。奥利弗对霍夫曼说:“亲爱的孩子,你看起来真糟糕。你为什么不试着演戏呢?这样容易多了。”

我对记忆和推理的看法是一样的。目前的人工智能方法主要是试图通过记忆(或至少是近似地记忆)整个世界的概率密度函数来应对世界的复杂性,代价是无法满足地需要越来越多的数据。考虑到世界的指数级复杂性,这一策略不太可能奏效。

推理提供了另一种选择;你不需要记住所有的东西,也不需要在你以前可能遇到的近邻之间进行插值,而是进行推理。你没有记住柏拉图、亚里士多德、欧里庇得斯和我们前面的其他数十亿人都是凡人的事实,而是学到了一个普遍的真理,所有的人都是凡人,并根据需要将这个普遍的真理应用到这个范畴的具体实例中。

正如我们所看到的,神经网络,如Transformers(至少像目前通常使用的那样,在端到端的方式中,与符号操作工具隔离)太不可靠,不适合合理的推理。它们可能在某些时候起作用,但不太可靠;只要有足够的知识可用,符号操纵至少提供了朝着正确方向前进的希望。

同样地,我们可以认为下图左半部分所示的常识知识相当丰富,因为它所编码的行为、后果和人类互动的信息错综复杂。其中一些知识可能被明确地表示出来(例如,饮用某种毒物的后果可能是立即死亡),一些可以想象的知识可能是从更一般的事实在网上衍生出来的。(例如,“如果一个人死了,他们就不必和任何人结婚”可能是从一个更普遍的观察中得出的,即义务往往只适用于活着的人。)无论哪种方式,拥有如此广泛的知识储备的回报来自于可以得出的推论的复杂程度(下图右侧),以及在他们的可解释性水平上,这两者与迄今为止通过深度学习产生的任何东西都处于完全不同的水平。

一些观察结果:

·如果不广泛使用结构化表示、变量操作和个人记录,这种方法是不可能的。

·这是一个最好的概念证明,表明拥有丰富的认知模型和丰富的生物学、心理理论等知识的潜在价值。

·然而,它在很大程度上依赖于知识工程师手工完成的大量前期工作,这些工程师已将《罗密欧与朱丽叶》手工翻译成形式逻辑;一个能够在可比水平上自动生成此类表示和推理的系统将是一个重大突破。

·推理本身不一定是通往强大人工智能的瓶颈;真正的瓶颈可能在于在现实世界推理的上下文中获得正确的信息。

当然,CYC远非完美。世界上有太少的东西是以充分的预先包装的形式提供给CYC的。CYC没有太多的自然语言前端,也没有远见;要让它变得合理,你需要把你的问题用逻辑的形式表示出来。由于很少有问题是以这种方式预先包装的,因此直接的商业应用相对较少。但是,在一个将大规模抽象知识与以各种形式逻辑实现的高阶推理相结合的系统中,精细推理是可能的,这是一个存在的证明。

即便是CYC的推理能力,无疑也有很大的提升空间。它的表示主要是(或者完全是)高阶逻辑的东西;不清楚它能在多大程度上表示不确定性,以及对统计分布的推理,等等。正如伯特兰·罗素曾经说过的,“人类所有的知识都是不确定的、不精确的和部分的”,现在还不清楚CYC能处理多少不确定性、不完整性和不精确性。【另一个问题是人类在推理中面临的诸多限制,如确认偏差、动机推理、语境效应、连接谬误等。在一个理想的世界里,我们会从人类做得好的事情中学到东西,但把这些异常现象抛在脑后。关于为什么人类可能进化出这种认知效率低下的讨论,即使这种认知错误在功能上可能不是最优的,参见Marcus(Marcus,2008)】

有人怀疑,就像经典人工智能和神经人工智能中的许多其他东西一样,它很可能是脆弱的,高度依赖于数据库中的特定知识以及复杂场景映射到其内部逻辑的精确方式。

乐观的可能性是,一旦混合架构(architecture)知识的先决条件得到更好的发展,推理可能会自行解决;悲观的可能性是,我们可能需要在推理本身方面进行重大改进,至少在可伸缩性和处理不完整知识的能力方面是如此。在我们把前两个房子——建筑学和知识表示——整理好之前,我们可能真的无法分辨。

但我们已经知道:由于世界的复杂性,我们需要这样的东西。很明显,我们需要新的基准来推动我们的系统进行罗密欧与朱丽叶场景所体现的那种复杂的推理。由于我们既不能预先对每一个场景进行编码,也不希望总是在已知的场景之间进行插值,因此一个能够有效地利用大规模背景知识的推理系统,即使在可用信息不完整的情况下,也是鲁棒性的先决条件。

Minervini等人最近的研究(Minervini等人,2019年)给了我希望,一种神经符号混合的方法可以开辟新的领域。Besold等人(Besold、Garcez、Stenning、vanderTorre和vanLambalgen,2017)提供了另一个起点。人们在努力这一事实给了我更多的希望;如果我们要前进,推理和知识需要成为一流的公民,看到人们在努力是件好事。

2.4认知模型

这绝不是一个微不足道的过程。任何一个GOFAI研究者都可以描述,原则上,一个人如何手动构建(一些)复杂的认知模型,但在特定场合推断正确的认知模型可能是一个复杂的过程,在给定的情况下,往往有一个以上的似是而非的答案,而且目前还不可能自动化。

CYC的例子罗密欧和朱丽叶是令人信服的,因为系统得出的推论是复杂和明智的,但令人失望的是,基本模型是手工编码的,而不是从剧本中归纳出来的。这使得该系统可以很好地用于演示目的,但在现实世界中,为了让认知模型为强大的人工智能铺平道路,我们需要找到从数据流(如视频或文本)中自动推断它们的方法。

这是一个如此困难的问题(在下面讨论的场景理解领域之外)大多数人转而从事其他的工作,并在令人惊讶的程度上尝试完全不使用认知模型。

但是,像DQN这样的系统的成功有什么教训呢?在我看来,这个领域过于笼统了。在像Breakout这样的封闭领域中,只要有足够的数据(通常远远超过人类在类似情况下所需的数据),无模型强化学习通常效果非常好。但这并不意味着无模型强化学习是解决智力问题的一个好方法。

问题在于,无模型解在诱导它们的精确环境之外,泛化能力很差。Kansky等人(Kansky等人,2017年)通过修补Breakout以令人信服的方式展示了这一点;即使是将拨片向上移动几个像素之类的微小变化也会导致性能大幅下降。人类通过内部认知模型进行工作,可以很快得到补偿;无模型的深度强化学习系统往往无法做到这一点,相反,经常需要大量的再培训,正是因为它们缺乏丰富的环境认知模型。

有时他们从统计学中得到好运,但是缺乏认知模型,他们没有可靠的基础来推理。

认知模型的缺乏对于任何希望使用Transformers作为下游推理系统输入的人来说也是一个惨淡的消息。语言理解的全部本质是从语篇中导出认知模型;然后我们可以对我们导出的模型进行推理。Transformers,至少在他们目前的形式,只是没有做到预测词类是令人印象深刻的,但就其本身而言,预测并不等于理解。

在我们第一次对强大智能的探索中,我们不能期望制造出能理解莎士比亚的机器,但我们可以追求比我们所拥有的多得多的东西。我5.5岁和7岁的孩子可能不会自发地理解莎士比亚,但他们所拥有的智力在很大程度上是强大的;他们了解很多关于日常事物的物理相互作用的知识,以及足够了解人类的目标和动机,以理解大量的儿童书籍;已经,早在小学阶段,他们就掌握了欺骗、误解和动机等概念,这些概念在《罗密欧与朱丽叶》的故事中非常关键。他们可以在各种各样的操场上攀爬和机动,还可以谈论各种各样的话题。

我有两个猜想

·如果没有混合体系结构、丰富的先验知识和复杂的推理技术,我们就无法以适当、自动化的方式构建丰富的认知模型。举一个例子,如果我们看到水体中的涟漪隐约让人想起汽车,在一般情况下,我们应该假设这些涟漪只是涟漪,例如,基于汽车不会漂浮的知识。但我们可能会在黑帮电影的背景下改变我们的前科,在这部电影中,汽车可能会被故意推入水中。场景理解最终不仅仅是标记对象,而是使用最好的可用数据进行连贯的解释,这需要对数据进行一定程度的推理,并结合先验知识。任何单纯依靠标记图像的自下而上方法都可能在各种异常情况下失败,正如我们迄今所看到的,即使是在地图清晰的公共道路上进行自主驾驶的狭窄领域,尽管付出了巨大的努力和数十亿美元的投资。

·如果没有归纳和表现丰富认知模型的能力,我们就无法获得强健的智力。例如,阅读在某种程度上可以被认为是一种以句子为输入,以产生为输出(内部)认知模式的功能。当我们发现罗密欧自杀时,基于对事实的误解,我们更新了我们的模型。一旦我们更新了我们的模型,我们就会对它们进行推理(考虑到朱丽叶的明显死亡,罗密欧会自杀有意义吗?)。我们的情绪反应也来自于我们对所发生事情的内部认知模式的相对判断。(角色刚才表演的动作是否合乎道德?安全吗?愚蠢?悲剧?)。纯粹的共现统计并没有可靠地得出这一点。Cyc有能力表示丰富的认知模型,但由于它没有感知成分,缺乏足够的自然语言前端,因此不能从数据中归纳模型。Transformers,如果他们成功了,就跳过了归纳和表现丰富认知模型的步骤,但这样做是有风险的,因为他们能够做的推理因此是相当有限的。同样,家用机器人最终也会被限制在他们能够安全参与的行动范围内,因为他们能够通过丰富的认知模型进行归纳、表示和推理。

单靠更多的数据可能无法解决这个问题。在我编辑这篇手稿的时候,谷歌发布了Meena(Adiwardanaetal.,2020),在341GB的海量语料库上进行训练,几乎是GPT-2训练的10倍,相当于大约341000本书,远远超过大多数人一辈子的阅读量。

根据谷歌的博客“走向一个可以谈论……任何事情的对话代理”,Meena“可以进行比现有最先进的聊天机器人更明智和具体的对话。”像GPT-2一样,Meena创作的散文既非常流畅,也非常有主题性。它最好的对话是惊人的,该报报道说,它设置了一个新的艺术状态,在新的衡量标准“感性和特异性”。但同样的核心基础——世界内部认知模式仍然缺失。

考虑一下这个片段

你最喜欢的乐队是什么?Avengedsevenfold。

人类:哦,这是个好答案!你最不喜欢哪个乐队?Avengedsevenfold。

哦,我以为你喜欢Avengedsevenfold?米娜:是的。那是我最喜欢的乐队。

每个答案都是连贯的,但从一个答案到下一个答案却没有连贯性。Meena抓住了这样一个事实,即某些短语,如乐队名称,往往与短语,如“最喜爱的乐队”;但没有持久的记录,Meena的喜好,即使是一个简短的对话长度,因此完全不一致。

在第77次对话中也可以看到大致相同的情况。Meena在自称“学习”广东话和已经母语流利的广东话之间摇摆不定:

人类:你的新年决心是什么?米娜:减掉60磅学广东话学法语人类:你不觉得,那很牵强吗?

米娜:不是真的。我现在瘦了35磅,我已经能说广东话到一个基本的水平,而且我已经在学校学法语了。

人类:哇!真令人印象深刻!

米娜:我在一边学法语,这对我来说真的很容易,因为我的母语是粤语。

没有认识到你不能学习一门你已经知道的语言(缺少背景知识),也没有内在的模式来判断米娜是否会说广东话。一句一句的预测很突出;总体上是不连贯的。

当我在修改这篇论文的初稿时,我开始用“猫在垫子上”这句话起草一个图表。我的计划是展示如何解释这个句子,从语法到语义,再到可更新的认知模型,跟踪实体(如猫和垫子)及其属性和彼此之间的关系;目标是展示GPT-2是如何试图缩短这条路径,从而得到混合的结果。

我还没来得及画完这幅图,我5.5岁和7岁的孩子们就从我身后望过去,咯咯地笑着大声念着“猫在垫子上”这句话。我转向年长的那个,问他:“你能把一头大象放在垫子上吗?”他回答说,这要看情况;如果这是一个真正的大垫子,你可以,如果这是一个小垫子,你不能。他立即形成了一个虚构的世界和实体的模型,填充了这个世界,并应用他的一般常识知识的理论世界,完全没有标签的例子。

当他离开房间时,我问了他妹妹,我5.5岁的女儿。她很好地理解了前面的谈话,并对我的问题给出了一个同样恰当的答案。当我问她一座房子是否能放在垫子上时,她证明了自己同样擅长构建一个模型,并对其未指明的参数进行推理,从而得出合理的结论。

我们不可能建立可靠、健壮的人工智能系统,因为这些系统无法与小孩子通常做的基本推理和模型构建相匹配。等待认知模型和推理从越来越大的训练语料库中神奇地出现,就像等待奇迹。

在我看来,构建能够将语言和感知输入映射到丰富的、不断发展的认知模型的系统应该是该领域最优先考虑的问题之一。

换言之,更紧迫的是,花在改进大规模单词级预测模型上的每一刻,即lagpt-2和Meena,都是一个可以更好地用于开发派生、更新和推理认知模型的技术的时机。

如果我们想建立健壮的人工智能,我们就不能再等了。

3.讨论

3.1.一种围绕着持久的抽象知识的智慧

大部分的努力都以知识的形式达到高潮,有些是具体的,有些是一般的,有些是口头的,有些不是。经典人工智能的很大一部分目标是以机器可解释的形式提取这些知识;CYC是这方面最大的项目。

一路上的某个地方,人工智能领域走了一个不同的方向。大多数研究人员,如果他们了解CYC的话,会认为这是一个失败,而目前很少有研究人员会将他们的目标描述为积累知识,就像Lenat所描述的那样。【也许Google知识图(GoogleKnowledgeGraph)最接近,但据我所知,知识图的目标是积累有助于消除搜索查询歧义的具体事实,比如法国有一个叫巴黎的城市,而不是抽象的常识。】

像Transformers这样的系统的部分成功导致了一种虚幻的感觉,即CYC规模的机器可解释的人类知识表示是不必要的,但我认为这是一个错误。然而,正如我们所看到的,尽管Transformers作为统计推断引擎给人留下了深刻的印象,但它们离成为强大智能的坚实基础还有很长的路要走。他们不可靠,他们的知识参差不齐。

这篇论文的重担是主张研究重点的转变,转向构建健壮人工智能的四个认知前提:混合架构,将大规模学习与符号操作的表征和计算能力相结合,大规模知识库可能利用固有的框架,这些框架将符号知识与其他形式的知识结合起来,推理机制能够以可处理的方式利用这些知识库,丰富的认知模型与这些机制和知识库协同工作。

随之而来的是对可能更加异构的体系结构的需求。到目前为止,许多机器学习都集中在相对同质的体系结构上,其中单个神经元的能力仅限于求和和和集成,通常不超过少数预先指定的模块。正如最近的研究所表明的,这是一种过分简单化的说法;在宏观层面上,仅大脑皮层就有数百个解剖和可能的功能区域(VanEssen、Donahue、Dierker和Glasser,2016);在微观层面上,如前所述,即使是单个神经元的单个树突室也可以计算XOR的非线性(Gidon等人,2020)。AdamMarblestone、TomDean和我认为(Marcusetal.,2014),大脑皮层不太可能用一个标准电路来计算它的所有功能;神经计算中可能存在一个重要的多样性,这在计算神经科学或人工智能中还没有被捕捉到。

两个数字以定性的方式反映了我认为我们近年来一直在做的事情,以及我们应该做的事情。这些数据的第一点也是最重要的一点很简单:潜在的人工智能(和机器学习)模型的空间是巨大的,而且只有一小部分可能存在的东西被探索过。空白板岩经验主义模型已经得到了很好的研究,并且得到了很好的资助,沉迷于人工智能早期难以想象的计算资源和数据库;已经有了一些真正的进展,但如此多种形式的脆性仍然是一个严重的问题;是时候探索具有类似活力的其他方法了。

向前发展至少需要我们建立一个模型,原则上能够代表和学习我们在语言和更高层次认知方面所需要的各种东西。

目前大多数系统甚至都不在正确的范围内。至少,充分的知识框架要求我们能够通过变量运算,以代数的方式表示和操作我们的知识的一部分;很可能这些知识的一些(大的)子集是按照结构化表示进行编码和维护的,这些知识中的大部分必须与特定的个体有关,并允许对其进行追踪。

本文的有力预测是,健壮的人工智能必然存在于图4所示的交叉点。

同时,这个交叉点内可能模型的空间是巨大的,甚至可能是无限的;说正确的架构是有一个开始,但只是一个开始,就像说一个网络浏览器可能应该用一种语言来编写,那就是图灵等价物。很好,很真实,而且。。。现在怎么办?拥有一套合适的基本体只是一个开始。

这里有一种方法来思考这个问题:有无限多的可能的计算机程序,其中只有一些例示应用程序,如(例如)web浏览器或电子表格,并且只有一个子集表示健壮的web浏览器或电子表格。类似地,有无限多的系统包含结构化表示、个人记录、对变量的操作,所有这些都在允许学习的框架内,但只有其中一些系统会实例化健壮的智能。如果本文的主旨是正确的,那么结合学习和符号操作的混合体系结构对于健壮的智能是必要的,但还不够。

例如,还需要正确的宏观结构,包括多个领域的丰富知识,如图5所示:

将这两个数字的要点与当前的趋势相比较。大多数(并非全部)深度学习的当前工作都回避了对变量、结构化表示和个人记录的操作;同样地,深度学习在很大程度上没有大规模抽象知识、丰富的认知模型和明确的推理模块。总的来说,关于合成认知的原语应该是什么的讨论还不够。深度学习在很大程度上取得了它所取得的成就,没有了这种传统的计算精确性,也没有任何看起来像是物理推理、心理推理等明确模块的东西。

但是,如果认为在诸如语音识别和对象标记等主要围绕分类的领域中,效果相当好的东西,必然会可靠地用于语言理解和更高层次的推理,这是一种谬误。可以肯定的是,一些语言基准已经被打破,但一些深刻的东西仍然缺失。当前的深度学习系统可以学习任意一点信息之间无尽的关联,但仍然无法深入;它们无法代表世界的丰富性,甚至根本不了解外部世界的存在。

那不是我们想去的地方。

在重新启动人工智能即将结束时,我和欧内斯特·戴维斯敦促

开发强大的推理技术,能够处理复杂的知识,

我们的结论是“这是一个很高的要求,但这是必须要做的。”即使在GPT-2这样的Transformers在我们付印之后出现了戏剧性的增长,我认为没有理由改变我们的要求。

Weconcluded'It’satallorder,butit’swhathastobedone.'EvenafterthedramaticriseofTransformerssuchGPT-2,whichcameoutafterwewenttopress,Iseenoreasontochangeourorder.

3.2我们还能做些什么吗?

很显然,是的。

3.2.1工程实践

首先,实现稳健性不仅仅是发展正确的认知前提,也是发展正确的工程实践。戴维斯和我在第十章“重新启动人工智能”中简要讨论了这一点,而汤姆·迪特里希在他的AAAIPresidentialAddress演讲(迪特里希,2017)中有一个非常好的讨论,我在《重新启动人工智能》问世后才发现这一点。Davis和我强调了冗余和指定公差等技术,这些技术长期以来一直适用于其他形式的工程。Dieterich提出了八条建议,非常值得一读,比如构造对奖励敏感的优化函数和直接构造检测模型故障的机器;和我们一样,他也强调了因果模型的必要性和冗余的价值。JoellePineau关于可复制性的观点也很重要(Hendersonetal.,2017)。

3.2.2.文化

还有一件事需要解决,既与认知前提有关,也与良好的工程实践无关,那就是文化:某些东西与深度学习社区的某些元素严重不符,不利于进步。这是一个房间里的大象,必须承认和解决,如果我们要向前迈进。

尤其是外界的观点,尤其是批评的观点,往往被视为一种极端的侵略(双方几十年的敌对行动所导致的)【第二个文化问题,正如这篇手稿的一位读者所指出的,是深度学习的倡导者经常过于看重大数据,常常假设(有时是错误的)复杂问题的答案基本上可以在越来越大的数据集和越来越大的计算集群中找到。整个领域,如语言学,在很大程度上都被忽视了。这不可能是好事。】,这种侵略不应在知识论述中占有一席之地,特别是在一个几乎肯定需要成为跨学科的领域,如果要取得进展。

学生们并不是对这种动态视而不见,他们逐渐认识到,公开宣称符号操纵是人工智能的一个组成部分,可能会对他们的职业生涯造成损害。例如,在我与Bengio辩论之后,一位来自著名深度学习实验室的年轻研究人员私下给我写信,说“其实我两年来一直想写一些……关于符号人工智能的东西,每次都不想写,因为担心它会对我未来的职业道路产生这样或那样的影响。”

这是一种适得其反的状态。正如辛顿本人曾经说过的那样,“马克斯·普朗克说过,'科学跨过此次葬礼而前进。’未来取决于某个对我所说的一切深表怀疑的研究生。”进步往往取决于学生认识到长辈理论的局限性;如果学生不敢说话,那就是一个严重的问题。

3.3.一点一点地看清整个大象(事物)

一些想法:

·深度学习向我们展示了从海量数据中可以学到多少。同现统计等可能只是可靠知识的影子,但确实有很多影子,只要我们敏锐地意识到它们的优点和局限性,也许我们可以利用这些影子,使用更复杂的技术。

·在丰富的知识基础和丰富的认知模型存在的情况下,CYC显示了复杂推理的潜在能力,即使它本身不能直接从语言或知觉输入中推导出这些模型。

·像NS-CL(Mao等人,2019年)这样的系统向我们表明,符号操纵和深度学习至少在原则上可以整合成一个无缝的整体,既能感知又能推理。

这样的例子太多了。如果我们能够打破僵局,停止60年来阻碍进展的敌对行动,转而集中精力,努力在这些世界之间架起桥梁,前景就是好的。稍微混合一些比喻,也许避开下一个可能的人工智能冬天的最好方法可能是让我们的帐篷不是在一根柱子上休息,而是在许多柱子上休息。

3.4结论、前景和影响

没有什么要求我们放弃深度学习,也不放弃正在进行的专注于新硬件、学习规则、评估指标和培训制度等主题的工作,但它促使我们从学习或多或少是唯一一等公民的观点转变为学习是更广泛的联盟的核心成员的观点欢迎使用变量、先验知识、推理和丰富的认知模型。

我提倡一个四步计划:首先开发混合的神经-符号结构,然后构建丰富的、部分先天的认知框架和大规模知识数据库,然后进一步开发对这些框架进行抽象推理的工具,最终开发出更为复杂的认知机制认知模型的表征与归纳。综上所述,朝着这四个先决条件取得进展,可能会为比目前更丰富、更智能的系统提供基础。最终,我认为这将重新定义我们所说的学习的含义,导致一种(也许是新的)学习形式,它通过抽象的、类似语言的概括,从数据中,相对于知识和认知模型,将推理作为学习过程的一部分。

如果我所描述的没有一个是单独的或者甚至是集体的,我相信,它至少足以让我们更接近一个我们可以信任的人工智能框架。

把事情说得稍微不同一点:我呼吁的一种研究方法是,首先确定一组动机良好的初始原语(可能包括对变量的操作、注意机制等),然后学习如何在之后重新组合这些原语,考虑到这些原语,从本质上说,学习什么是良好的实践。直到后来,一旦这些优秀软件工程的原则被确定,我们才有可能进入极其复杂的现实世界能力。大多数机器学习工作基本上都试图跳过开头的步骤,以经验的方式处理复杂的问题,而从未试图建立一个关于语言和更高层次认知真正需要什么初始原语的坚定理解。跳过这些最初的步骤,到目前为止还没有使我们获得语言理解和可靠的、可信赖的、能够应对意外情况的系统;现在是重新考虑的时候了。

在我看来,如果我们不改变方向,我们就不可能解决我们对人工智能最直接的担忧。当前的范式长期依赖数据,但缺乏知识、推理和认知模型,根本无法让我们获得可以信任的人工智能(Marcus&Davis,2019)。无论我们想建造与我们一起生活在家中的通用机器人,还是在不可预知的地方驾驶我们四处走动的自动车辆,或是对罕见疾病和普通疾病同样有效的医疗诊断系统,我们需要的系统不仅仅是挖掘大量数据集以获得更微妙的关联。为了做得更好,实现安全性和可靠性,我们需要对世界有丰富的因果理解的系统,这需要从更加注重如何用抽象的因果知识和详细的内部认知模型来表示、获取和推理开始。

重要的是,这些关键认知前提的进步可能会使人工智能成为一个自给自足的学习者,就像一个聪明的学童一样,但它们本身并不能保证产生一个完整的认知存在。也就是说,它们可能会导致自我教育的机器,在某些方面就像一个孩子,对世界有着不完全的了解,但却有着获取新思想的强大天赋。这当然只是一个开始,但它将使已经发生的事情看起来只是序幕,一些我们还不能完全预见的新事物。

为了纪念雅克·梅勒,1936-2020,科学家,《认知》杂志的创始人,跨学科认知科学的伟大倡导者,我们需要将人工智能提升到一个新的水平。

THE END
1.国内排名前十的人工智能培训机构名单甄选国内排名前十的人工智能培训机构名单甄选:百思鸿状教育创办于1999年,是专业从事职业教育的公司。公司一直致力于培养中国IT技能型紧缺人才,以标准化管理为依托,通过授权合同和院校合作两大经营模式,实现了体系的规模化发展,得到了社会各界广泛的认可。至今已成功培养100万学子进入IT行业,为改善就业领域人才供给的机构性矛盾https://www.360yuanshuo.com/newsdetail/id/41713.html
2.机构简介待清血在一些培训机构推介编程的宣传中,编程已经被视线再何圆为一种“通往未来的语言”。杂巴心划族在互联网商界,乔布斯11岁开始接触编程吗药,成为了一代传奇领袖底;比尔盖茨13岁开始接触编程,31岁成为了世界首富。对此,有家长表示:“孩子班上很多同学都报名了,有的孩子才5岁就开始学了,听说编程是人工智能时代的https://m.zysm.cn/school-37030/about.html
3.ai绘画风景软件哪个好一点AI绘画借助人工智能技术的发展,在绘画领域取得了显著的突破,也拓展了艺术创作的可能性。而随着ai绘画的大热,相关的绘画软件也开始被开发出来了,那么,在这些软件之中,ai绘画风景软件哪个好一点呢? ai绘画风景软件哪个好一点? Ai绘画软件是有很多种的,不过,比较常见的也就Photoshop、Corel Painter、Rebelle、DeepArt、Prihttps://www.hxsd.com/content/32742/
4.国家教育部原基础教育司司长王文湛:社会培训机构要做好“三个服务”去年1月22号,教育部、民政部、人力资源和社会保障部、国家工商总局发文,关于切实减轻中学生课业负担,开展校外培训机构专项治理的通知,主要治理以下六种:一有安全隐患的取缔;二是证照不全的,不合格取缔,合格的补办;三是开展学科教学的,到教育部门登记审批,开哪些学科,讲什么内容,招多少学生,什么时间上课,经教育部批准https://www.iyiou.com/analysis/20190524100959
5.头条文章48、各种校外培训机构的营销策略:制造焦虑,打出“你来,我们培养你的孩子;你不来,我们培养你孩子的竞争对手”的口号;饥渴营销,“高端班”考上才能报名,针对报名考试还有辅导、押题,好老师的班级名额要“拼手速”甚至“找关系”;贩卖概念,如“全脑开发”“右脑开发”“三维平衡”甚至“量子速读”,利用家长一知半解https://m.weibo.cn/ttarticle/p/show?id=2309634726707566543171
6.积云教育官网IT培训短视频运营人工智能Java培训AI短视频人工智能 12-29开班 预约报名 北京 人工智能 01-05开班 预约报名 北京 人工智能 01-12开班 预约报名 北京 人工智能 01-19开班 预约报名 北京 人工智能 01-26开班 预约报名 北京 人工智能 02-02开班 预约报名 北京 人工智能 02-09开班 预约报名 北京 http://www.usian.cn/
7.ai人工智能培训班北京,ai人工智能培训班北京地址人工智能大家好,今天小编关注到一个比较有意思的话题,就是关于ai人工智能培训班北京的问题,于是小编就整理了5个相关介绍ai人工智能培训班北京的解答,让我们一起看看吧。 国内ai人工智能哪个好用? 艾比瑞(AIBRI) 艾比瑞是由北京易途联科技有限公司推出的一款智能家庭助手,它可以通过人工智能技术与语音识别来实现人机交互。它http://www.zytxia.com/rgzn/4ce8bf874ef92e1a.html
8.每日热点0613科技日报北京6月12日电 (记者张梦然)美国麻省理工学院和塔夫茨大学研究人员设计出一种基于大型语言模型(如ChatGPT)的人工智能算法,这种称为ConPLex的新模型可将目标蛋白与潜在的药物分子相匹配,而无需执行计算分子结构的密集型步骤。相关论文发表在最新一期《美国国家科学院院刊》上。 https://www.sccdc.cn/Article/View?id=31219
9.人工智能ai培训靠谱吗深度解析AI教育市场的真相与挑战人工智能技术在各个行业中的应用越来越广泛,相关人才的需求也日益增长。对于想要学习和掌握人工智能知识的人来说,选择合适的人工智能ai培训课程显得尤为重要。那么,人工智能ai培训靠谱吗?我们从以下几个方面来进行分析。 人工智能ai培训机构多样性 在市场上有很多提供人工智能专业课程的机构,不同机构针对不同层次的人才提https://www.716hjm73q.cn/shu-ma/79954.html
10.软件工程师如何转行做人工智能?不建议参加培训机构,除非你钱多。人工智能是个很笼统、宽泛的概念,被吵得很热,很多机构打着大数据、人工智能的噱头来培训,什么人才缺口百万,什么年薪百万。参加这种培训的人,面试的时候,肯定会心虚,没有真正的项目实践。与其参加培训,不如省下钱来加块GPU。MIT, Stanford名校各种公开课程,没必要参加国内这些课程。 http://www.360doc.com/content/21/0114/17/10674139_956871229.shtml
11.菏泽医学专科学校和菏泽职业学院哪个好一点菏泽医学专科学校和菏泽职业学院哪个好一点?是很多同学和家长在择校时想查询对比的内容,小编在此整理了菏泽医学专科学校和菏泽职业学院两个学校的基本信息和师资力量和大学排名数据如下,供各位参考,更多菏泽医学专科学校与菏泽职业学院的招生分数线等数据请添加我们招生客服微信查询。 http://www.okaoyan.com/gaozhaobang/nagehao/694310_5.html
12.2018年全国邮政科技创新成果公示44 中国邮政储蓄银行股份有限公司辽宁省分行 基于人工智能技术对信贷业务实现远程实时集中管理 三等奖 李波、肖寒 李忠举、李晶磊、温瑞 45 中国邮政速递物流股份有限公司湖北省分公司 “1+X”模式下的物流综合管理系统 三等奖 黄鹂、张海 蒋立强、高永红、杨帆 46 中邮科技有限责任公司 邮件分拣系统的图像处理综合平http://www.chinapost.com.cn/xhtml1/report/190673/5624-1.htm
13.互联网早报3月11日星期三滴滴在杭州成都试点跑腿服务;支付5、怡亚通人工智能创新产品NJ-1 Al红外测温仪上市 文化娱乐 1、腾讯王者荣耀安卓、iOS数据互通:正式开放跨区互看游戏资料 2、4K花园与联通沃音乐、新媒股份达成合作,成立5G音视频内容产业联盟 3、万达电影:拟发行不超过20亿元的债务类融资工具 4、TapTap投资《中国式家长》发行商椰岛游戏,黄一孟出任董事 https://maimai.cn/article/detail?fid=1427726223&efid=fxGrDTYWQP0zOKaWSeim8A