人工智能的未来既充满风险，也蕴含巨大希望。
作为Anthropic的CEO，DarioAmodei一直在努力降低AI带来的风险。但这并不意味着他是个悲观主义者。恰恰相反，Amodei认为大多数人低估了AI的积极潜力。
在2016年，当Amodei的同事们还在为“构建AGI”而奋斗时，他就已经写了很多关于AI未来的思考。正如他的前同事CatherineOlsson所说：
CatherineOlsson(@catherineols)回忆道：
2016年，我问那些致力于“构建AGI”的同事，如果他们成功了会发生什么。
有些人说“哈哈，不知道”。而Dario说“这里有一些我写的长篇谷歌文档”。
他写的东西比发表的要多得多；这是他投入程度的典型表现。
这种“写作思考”的习惯，让Amodei对AI的未来有了更深入的洞察。
AI的美好未来：不只是科幻
生物学和身体健康
神经科学和心理健康
经济发展和消除贫困
和平与治理
工作和意义
Amodei的预测可能听起来很激进，但他强调这些都是基于对各个领域进展速度的半分析性评估。
Amodei认为，讨论AI可能带来的美好未来非常重要。他说：“我们需要一个真正鼓舞人心的未来愿景，而不仅仅是一个灭火计划。”
强大AI的定义与影响
Amodei给出了他心目中“强大AI”的定义：
在纯粹的智力方面，比诺贝尔奖得主还要聪明
具备人类在虚拟环境中所有的“接口”
可以自主完成长期任务
能控制现有的物理工具和设备
可以同时运行数百万个实例
简而言之，就是“数据中心里的天才国度”。
但Amodei也强调，即使是这样的AI也会受到物理世界速度、数据需求、内在复杂性、人类约束和物理定律等因素的限制。
生物学：AI加速的重点领域
在所有可能的应用领域中，Amodei认为生物学可能是AI带来最直接、最明确改善人类生活质量的领域。
他指出，生物学领域的许多重大突破往往来自极少数研究人员的发现。这些发现通常与广泛的测量工具或技术有关，如CRISPR、各种显微镜技术、基因组测序等。
Amodei大胆预测：强大的AI可能将这些发现的速度提高10倍以上，让我们在5-10年内实现原本需要50-100年才能达成的生物学进展。
希望与风险并存
AI的未来充满了不确定性，但也蕴含着无限可能。
希望如Amodei所希望的那样，AI终将成为“爱的机器”，让全世界变得更美好。
【附】原文翻译
爱的机器——人工智能如何可能让世界变得更美好
首先，我想简要解释一下为什么我和Anthropic没有过多谈论强大人工智能的好处，以及为什么我们可能会继续总体上更多地谈论风险。具体来说，我做出这个选择是出于以下考虑：
最大化影响力。人工智能技术的基本发展及其许多（不是全部）好处似乎是不可避免的（除非风险破坏一切），并且从根本上由强大的市场力量驱动。另一方面，风险并非预定的，我们的行动可以极大地改变它们发生的可能性。
避免自大。我经常对许多人工智能风险公众人物（更不用说人工智能公司领导人）谈论后AGI世界的方式感到反感，好像他们的使命是像先知引导人民走向救赎那样单方面塑造世界。我认为将公司视为单方面塑造世界是危险的，将实际的技术目标本质上视为宗教术语也是危险的。
然而，尽管有上述所有担忧，我确实认为讨论强大人工智能可能带来的美好世界是很重要的，同时我们要尽最大努力避免上述陷阱。事实上，我认为拥有一个真正鼓舞人心的未来愿景是至关重要的，而不仅仅是一个灭火计划。强大人工智能的许多影响是对抗性或危险的，但在所有这些之后，必须有我们为之奋斗的东西，一些每个人都能受益的正和结果，一些能让人们超越争执并面对未来挑战的东西。恐惧是一种动力，但这还不够：我们还需要希望。
经济发展和减贫
基本假设和框架
我所说的强大人工智能，我指的是一个人工智能模型——可能在形式上类似于今天的LLM，尽管它可能基于不同的架构，可能涉及几个相互作用的模型，并可能以不同的方式训练——具有以下特性：
除了仅仅是一个“你可以交谈的聪明东西”之外，它还拥有虚拟工作的人类可用的所有“接口”，包括文本、音频、视频、鼠标和键盘控制以及互联网访问。它可以参与这个接口所允许的任何行动、通信或远程操作，包括在互联网上采取行动、接受或给予人类指示、订购材料、指导实验、观看视频、制作视频等。它以再次超过世界上最有能力的人的技能完成所有这些任务。
它不只是被动地回答问题；相反，它可以被赋予需要数小时、数天或数周才能完成的任务，然后像一个聪明的员工一样自主地去完成这些任务，必要时寻求澄清。
它没有物理实体（除了存在于计算机屏幕上），但它可以通过计算机控制现有的物理工具、机器人或实验室设备；理论上它甚至可以为自己设计机器人或设备使用。
我们可以将此概括为“数据中心里的天才国度”。
显然，这样一个实体能够非常快速地解决非常困难的问题，但要弄清楚到底有多快并不简单。两种“极端”立场在我看来都是错误的。首先，你可能认为世界会在几秒或几天的尺度上立即转变（“奇点[7]”），因为优越的智能在自身基础上构建并几乎立即解决每一个可能的科学、工程和操作任务。这种观点的问题在于，存在真实的物理和实际限制，例如在构建硬件或进行生物实验方面。即使是一个新的天才国度也会遇到这些限制。智能可能非常强大，但它不是魔法仙尘。
第二，相反地，你可能相信技术进步已经饱和或受到真实世界数据或社会因素的限制，而比人类更好的智能将几乎不会增加什么6[8]。这在我看来同样不可信——我能想到数百个科学甚至社会问题，一大群真正聪明的人会大大加快进展，特别是如果他们不仅限于分析，还能在现实世界中实现事情（我们假设的天才国度可以做到这一点，包括指导或协助人类团队）。
我认为真相可能是这两种极端图景的某种混合，根据任务和领域而变化，其细节非常微妙。我相信我们需要新的框架来以富有成效的方式思考这些细节。
我猜测限制或与智能互补的因素列表包括：
对数据的需求。有时缺乏原始数据，在这种情况下，更多的智能并不能帮助。今天的粒子物理学家非常聪明，已经发展出了广泛的理论，但缺乏数据来选择它们，因为粒子加速器数据非常有限[11]。目前还不清楚如果他们具有超人智能是否会做得大大更好——除了也许能加快建造更大加速器的速度。
内在复杂性。有些事情本质上是不可预测或混沌的，即使是最强大的人工智能也无法比人类或今天的计算机预测或解开得更好。例如，即使是令人难以置信的强大人工智能也只能在一般情况下比今天的人类和计算机在混沌系统（如三体问题[12]）中预测得稍微远一些9[13]。
来自人类的约束。许多事情如果不违法、不伤害人类或不扰乱社会就无法完成。一个对齐的人工智能不会想做这些事情（如果我们有一个未对齐的人工智能，我们就回到讨论风险了）。许多人类社会结构是低效甚至有害的，但在尊重诸如临床试验的法律要求、人们改变习惯的意愿或政府行为等约束的同时很难改变。在技术上运作良好但其影响因法规或错误的恐惧而大大减少的进步的例子包括核能、超音速飞行[14]，甚至电梯[15]。
物理定律。这是第一点的更严格版本。有些物理定律似乎是不可打破的。不可能以超光速旅行。（布丁不会自己搅拌回去]）。芯片每平方厘米只能有这么多晶体管才不会变得不可靠[16]。计算需要每擦除一位至少需要一定最小能量[17]，限制了世界上计算的密度。
考虑到上述框架，我将尝试回答引言中提到的五个领域的这个问题。
1.生物学和健康
生物学可能是科学进步最有可能直接和明确改善人类生活质量的领域。在上个世纪，一些最古老的人类疾病（如天花）终于被征服，但还有更多仍然存在，战胜它们将是一项巨大的人道主义成就。甚至超越治愈疾病，生物科学原则上可以改善人类健康的基线水平，通过延长健康的人类寿命，增加对我们自身生物过程的控制和自由，并解决我们目前认为是人类状况不可改变部分的日常问题。
用上一节的“限制因素”语言来说，直接将智能应用于生物学的主要挑战是数据、物理世界的速度和内在复杂性（事实上，这三者都是相互关联的）。人类约束在后期也起作用，涉及临床试验时。让我们逐一看看这些。
鉴于所有这些，许多生物学家长期以来一直怀疑[20]人工智能和更广泛的“大数据”在生物学中的价值。从历史上看，在过去30年里将自己的技能应用于生物学的数学家、计算机科学家和物理学家取得了相当大的成功，但并没有达到最初希望的那种真正变革性的影响。一些怀疑已经被像AlphaFold[21]（刚刚应得地为其创造者赢得了诺贝尔化学奖[22]）和AlphaProteo[23]11[24]这样的重大突破性进展所减少，但仍然存在一种看法，认为人工智能只在（并将继续）在有限的情况下有用。一个常见的说法是“人工智能可以更好地分析你的数据，但它不能产生更多数据或改善数据的质量。垃圾进，垃圾出”。
但我认为这种悲观的观点是以错误的方式思考人工智能。如果我们关于人工智能进展的核心假设是正确的，那么思考人工智能的正确方式不是将其视为一种数据分析方法，而是将其视为一个虚拟生物学家，执行生物学家所做的所有任务，包括在现实世界中设计和运行实验（通过控制实验室机器人或简单地告诉人类进行哪些实验-就像首席研究员对他们的研究生所做的那样），发明新的生物学方法或测量技术等。正是通过加速整个研究过程，人工智能才能真正加速生物学。我想重复这一点，因为当我谈论人工智能改变生物学的能力时，这是最常见的误解：我说的不是人工智能仅仅是分析数据的工具。根据本文开头对强大人工智能的定义，我说的是使用人工智能来执行、指导和改进生物学家所做的几乎所有事情。
要更具体地说明我认为加速可能来自哪里，令人惊讶的是，生物学中的大部分进展来自真正微小数量的发现，这些发现通常与广泛的测量工具或技术12[25]有关，这些工具或技术允许精确但广泛或可编程地干预生物系统。每年可能只有~1个这样的重大发现，它们共同推动了>50%的生物学进展。这些发现之所以如此强大，正是因为它们突破了内在复杂性和数据限制，直接增加了我们对生物过程的理解和控制。每十年的几个发现不仅推动了我们对生物学的基本科学理解的大部分内容，而且推动了许多最强大的医疗治疗。
一些例子包括：
CRISPR[26]：一种允许在活体生物中实时编辑任何基因的技术（用任何其他任意序列替换任何任意基因序列）。自原始技术开发以来，已经有不断的改进[27]，以针对特定细胞类型、提高准确性和减少错误基因的编辑——所有这些都是在人类中安全使用所需要的。
各种类型的显微镜技术，用于精确观察正在发生的事情：先进的光学显微镜（具有各种荧光技术、特殊光学等），电子显微镜，原子力显微镜等。
基因组测序和合成，在过去几十年里成本下降[28]了几个数量级。
光遗传学[29]技术，允许你通过照射光线使神经元放电。
mRNA疫苗[30]，原则上允许我们设计针对任何东西的疫苗，然后快速适应（mRNA疫苗当然在COVID期间变得著名）。
细胞疗法，如CAR-T[31]，允许将免疫细胞从体内取出并“重新编程”以攻击原则上任何东西。
概念性洞见，如疾病的微生物理论或认识到免疫系统与癌症之间的联系13[32]。
为什么我这么认为？因为当我们试图确定“智能回报”时应该习惯于问的一些问题的答案。首先，这些发现通常是由极少数的研究人员做出的，往往是同一批人反复做出，这表明是技能而不是随机搜索（后者可能表明冗长的实验是限制因素）。其次，它们通常“本可以”比实际早很多年被发现：例如，CRISPR是细菌免疫系统中自然存在的组成部分，自80年代以来就已知[33]，但又过了25年人们才意识到它可以被重新利用于通用基因编辑。它们也经常因为科学界缺乏对有前景方向的支持而延迟多年（参见这篇关于mRNA疫苗发明者的简介[34]；类似的故事比比皆是）。第三，成功的项目往往是草根的或最初被认为不太有前景的副产品，而不是大规模资金支持的努力。这表明不仅仅是大规模资源集中推动发现，而是创造力。
最后，尽管这些发现中的一些有“串行依赖性”（你需要先做出发现A才能有工具或知识来做出发现B）——这再次可能造成实验延迟——但许多，也许是大多数，是独立的，意味着可以同时并行进行多项工作。这些事实，以及我作为生物学家的一般经验，强烈表明，如果科学家更聪明，更善于在人类拥有的大量生物学知识之间建立联系，就有数百个这样的发现等待被做出（再次考虑CRISPR的例子）。AlphaFold[35]/AlphaProteo[36]在解决重要问题方面比人类更有效的成功，尽管经过数十年精心设计的物理建模，为我们应该前进的方向提供了一个原则证明（尽管是在狭窄领域的狭窄工具）。
当某些东西真的很有效时，进展会快得多：有一个加速批准通道，当效果规模更大时，批准的难度就小得多。COVID的mRNA疫苗在9个月内获得批准——比通常的速度快得多。话虽如此，即使在这些条件下，临床试验仍然太慢——mRNA疫苗可以说应该在~2个月内获得批准[39]。但这种延迟（药物从头到尾约1年）加上大规模并行化和需要一些但不是太多迭代（“几次尝试”）非常符合5-10年内的根本转变。更乐观地说，人工智能支持的生物科学[40]可能会通过开发更好的动物和细胞实验模型（甚至模拟）来减少临床试验中迭代的需求，这些模型在预测人类中会发生什么方面更准确。这在开发抗衰老药物方面尤其重要，因为衰老过程持续数十年，我们需要更快的迭代循环。
最后，关于临床试验和社会障碍的话题，值得明确指出的是，在某些方面，生物医学创新在成功部署方面有着异常强大的记录，这与其他一些技术形成对比16[41]。正如引言中提到的，许多技术尽管在技术上运作良好，但受到社会因素的阻碍。这可能会让人对人工智能能够实现什么持悲观态度。但生物医学是独特的，尽管开发药物的过程过于繁琐，但一旦开发出来，它们通常会成功部署和使用。
**总结上述内容，我的基本预测是，人工智能支持的生物学和医学将允许我们将人类生物学家在未来50-100年内可能实现的进展压缩到5-10年内。我将此称为“压缩的21世纪”：即在强大的人工智能开发出来后，我们将在几年内实现我们在整个21世纪可能实现的所有生物学和医学进展。
**尽管预测强大的人工智能在几年内能做什么本质上仍然困难且具有投机性，但问“人类在未来100年内未经帮助能做什么？”有一定的具体性。简单地看看我们在20世纪取得的成就，或从21世纪的前20年推断，或问“10个CRISPR和50个CAR-T”会给我们带来什么，都提供了实际、有根据的方法来估计我们可能从强大的人工智能中期待的总体进展水平。
下面我试图列出我们可能期待的清单。这并不基于任何严格的方法，在细节上几乎肯定会被证明是错误的，但它试图传达我们应该期待的总体激进水平：
几乎所有自然传染病的可靠预防和治疗17[42]。考虑到20世纪对传染病的巨大进展，想象我们可以在压缩的21世纪内“完成工作”并不激进。mRNA疫苗和类似技术已经指向“任何疾病的疫苗[43]”。传染病是否从世界上完全根除（而不仅仅是在某些地方）取决于贫困和不平等的问题，这些将在第3节讨论。
非常有效的预防和有效治愈遗传疾病。大大改进的胚胎筛查[48]可能使预防大多数遗传疾病成为可能，而CRISPR的一些更安全、更可靠的后代可能治愈大多数现有人群中的遗传疾病。然而，影响大部分细胞的全身性疾病可能是最后的堡垒。
预防阿尔茨海默病。我们一直很难弄清楚是什么导致阿尔茨海默病（它somehow与β-淀粉样蛋白有关，但实际细节似乎非常复杂[49]）。这似乎正是可以通过更好的测量工具来隔离生物效应而解决的问题类型；因此我对人工智能解决它的能力持乐观态度。一旦我们真正理解发生了什么，很有可能最终可以通过相对简单的干预来预防它。话虽如此，已经存在的阿尔茨海默病造成的损害可能很难逆转。
改善大多数其他疾病的治疗。这是一个包罗万象的类别，包括糖尿病、肥胖、心脏病、自身免疫疾病等其他疾病。这些中的大多数似乎比癌症和阿尔茨海默病“更容易”解决，在许多情况下已经在急剧下降。例如，心脏病死亡率已经下降了50%以上，像GLP-1激动剂[50]这样的简单干预已经在对抗肥胖和糖尿病方面取得了巨大进展。
生物自由。过去70年里，在避孕、生育、体重管理[51]等方面取得了进展。但我怀疑人工智能加速的生物学将大大扩展可能性：体重、外表、生殖和其他生物过程将完全受人控制。我们将这些归类为生物自由：每个人都应该有权选择他们想成为什么样的人，以最吸引他们的方式生活。当然，关于全球平等获取的重要问题将会出现；请参见第3节。
很难高估这些变化对除了那些期待强大人工智能的小社区之外的每个人来说会有多么令人惊讶。例如，美国目前有数千名经济学家和政策专家在辩论如何保持社会保障[58]和医疗保险的偿付能力，更广泛地说，如何控制医疗保健成本（主要由70岁以上的人消费，特别是那些患有癌症等终末期疾病的人）。如果所有这些都实现了，这些项目的情况可能会得到根本改善20[59]，因为工作年龄人口与退休人口的比例将发生巨大变化。毫无疑问，这些挑战将被其他挑战所取代，比如如何确保新技术的广泛获取，但值得思考一下，即使生物学是唯一一个被人工智能成功加速的领域，世界将发生多大的变化。
2.神经科学与心智
在前一节中，我重点讨论了身体疾病和生物学的整体问题，但没有涉及神经科学或心理健康。然而，神经科学是生物学的一个分支，而心理健康与身体健康同样重要。事实上，如果有区别的话，心理健康甚至比身体健康更直接地影响人类的幸福感。数以亿计的人因成瘾、抑郁症、精神分裂症、低功能自闭症、创伤后应激障碍（PTSD）、反社会人格障碍21[60]或智力残疾等问题，生活质量极差。还有数十亿人正在为日常问题挣扎，这些问题通常可以看作是这些严重临床障碍的温和版本。与生物学一样，或许也有可能超越解决问题的范畴，提升人类体验的基础质量。
我之前为生物学提出的基本框架同样适用于神经科学。该领域通过少量的发现而不断推进，通常与测量或精确干预工具有关——在上面的例子中，光遗传学是神经科学的一个发现，最近的CLARITY[61]和扩展显微镜也是同类进展，此外许多通用细胞生物学方法也直接应用于神经科学。我认为，这些进展的速度将同样因AI而加速，因此“5-10年实现100年的进步”的框架同样适用于神经科学，原因也是一样的。与生物学一样，20世纪神经科学的进展也是巨大的——例如，直到1950年代[62]，我们甚至还不理解神经元是如何或为何发放电信号。因此，似乎可以合理地预期，由AI加速的神经科学将在几年内产生快速进展。
对人工神经网络进行实验比对真实神经网络进行实验要容易得多（后者通常需要切开动物的大脑），因此可解释性很可能成为我们改进对神经科学理解的工具。此外，强大的AI本身可能比人类更能开发和应用这一工具。
我认为神经科学家应该尝试将这一基本见解与人脑的特定特性（生物物理限制、进化历史、拓扑结构、运动和感觉输入/输出的细节）结合起来，试图解决一些神经科学的关键谜题。一些科学家可能已经在做这件事，但我怀疑还不够，而AI神经科学家可能更能有效地利用这一角度来加速进展。
我预计AI将通过四条不同的途径加速神经科学进展，希望这些途径能够共同作用，治愈心理疾病并改善功能：
传统分子生物学、化学和遗传学。这与第1节中的一般生物学故事本质相同，AI很可能通过相同的机制加快进程。有许多调节神经递质以改变大脑功能、影响警觉或感知、改变情绪等的药物，AI可以帮助我们发明[69]更多类似药物。AI还可能加速精神疾病遗传基础的研究。
精细神经测量和干预。这是一种能够测量大量单个神经元或神经回路的活动，并进行干预以改变其行为的能力。光遗传学和神经探针是能够在活体有机体中同时进行测量和干预的技术，一些非常先进的方法（如分子记录带以读取大量单个神经元的发放模式）也被提出[70]，从原理上讲似乎是可行的。
先进的计算神经科学。如上所述，现代AI的具体见解和整体思路可能会对[系统神经科学]中的问题产生有益的应用，或许能揭示精神病或情绪障碍等复杂疾病的真正原因和动态。
行为干预。鉴于本节重点是神经科学的生物方面，我没有多提及，但精神病学和心理学当然在20世纪发展了广泛的行为干预手段[71]；可以合理地推测，AI也可能加速这些手段的发展，帮助患者坚持现有的方法。更广泛地讲，“AI教练”这一理念显得极具前景，它可以始终帮助你成为最好的自己，研究你的互动并帮助你学会更有效地行动。
我猜想，这四条进展路径协同工作时，将像处理身体疾病一样，推动在未来100年内治愈或预防大多数心理疾病——因此，在AI加速的5-10年内，这一进程可能会大大加快。具体来说，我对未来的预测如下：
非常“结构性”的条件可能更难以解决，但并非不可能。有[一些证据]表明，反社会人格障碍与明显的神经解剖差异有关——某些大脑区域在反社会者中明显更小或发育不良。反社会者被认为从小就缺乏同理心；无论他们的大脑有什么不同，这种差异可能从一开始就存在。某些智力障碍可能也是如此，或许还有其他条件。重塑大脑听起来很困难，但它也是一个有着高智力回报的任务。也许有某种方法可以诱导成人大脑进入一个更早期或更具可塑性的状态，使其能够被重新塑造。我对这方面的可能性持不确定态度，但我的直觉是对AI在此领域的发明持乐观态度。
我们不认为是临床疾病的日常问题也将得到解决。我们大多数人都有一些日常心理问题，通常不被认为达到了临床疾病的标准。有些人容易发怒，另一些人难以集中注意力，或经常感到困倦，有些人容易恐惧或焦虑，或对变化反应不佳。如今，已经存在帮助提高警觉性或专注度的药物（如咖啡因、莫达非尼、利他林），但像其他许多领域一样，可能还有更多可能。或许还有许多尚未被发现的药物，可能还会有全新的干预方式，如定向光刺激（见上文的光遗传学）或磁场。鉴于我们在20世纪已经开发了许多调整认知功能和情绪状态的药物，我对“压缩的21世纪”非常乐观，在这个世界中，每个人都可以让自己的大脑表现得更好，日常生活也更加充实。
总之，AI加速的神经科学很可能极大地改善心理疾病的治疗，甚至治愈大多数心理疾病，同时极大地拓展“认知和心理自由”，提升人类的认知和情感能力。这将与前一节所描述的身体健康改善一样具有革命性。也许外部世界不会有明显变化，但人类体验的世界将会变得更加美好和人性化，同时也提供了更大的自我实现机会。我还怀疑，心理健康的改善将缓解许多其他社会问题，包括那些看似政治或经济的问题。
3.经济发展与贫困
前两节讨论的是“开发”新技术，以治愈疾病并改善人类生活质量。然而，从人道主义角度出发，一个显而易见的问题是：“所有人都能获得这些技术吗？”
开发出治愈一种疾病的方法是一回事，而彻底根除这种疾病则是另一回事。更广泛地讲，许多现有的健康干预措施尚未在世界各地得到应用，而且就此而言，非健康领域的技术进步也是如此。换句话说，世界许多地区的生活水平仍然极为贫困：人均GDP[77]在撒哈拉以南非洲约为2000美元，而美国则约为75000美元。如果AI进一步提高了发达国家的经济增长和生活质量，却对发展中国家无所作为，那么我们应该将此视为一个可怕的道德失败，这也会玷污前两节中真正的人道主义胜利。理想情况下，强大的AI应该帮助发展中国家_赶上_发达国家，即使它正在革命化后者。
我对AI解决不平等和经济增长的问题没有像它发明基础技术那样有信心，因为技术显然具有高智力回报（包括绕过复杂性和数据不足的能力），而经济则涉及许多人类约束，以及大量的内在复杂性。我对AI解决著名的“社会主义计算问题[78]”23[79]持怀疑态度，我也不认为政府会（或应该）将其经济政策交给这样一个实体，即使它能够做到。还有一些问题，例如如何说服人们接受有效但他们可能不信任的治疗。
发展中国家面临的挑战因普遍的腐败[80]问题而变得更加复杂，腐败在私营部门和公共部门都存在。腐败造成了一个恶性循环：它加剧了贫困[81]，而贫困又反过来滋生更多的腐败。AI驱动的经济发展计划需要考虑到腐败、薄弱的机构和其他非常人类的问题。
尽管如此，我确实看到了乐观的理由。疾病“已经”被根除，许多国家“已经”从贫穷变为富裕，显然这些任务中的决策表现出了高智力回报（尽管存在人类约束和复杂性）。因此，AI很可能比目前的人类做得更好。可能还有一些有针对性的干预措施可以绕过人类约束，AI可以专注于这些措施。更重要的是，我们必须去尝试。AI公司和发达国家的政策制定者都需要尽自己的一份力，确保发展中国家不被排除在外；道德责任太大了。所以在这一节中，我将继续做乐观的论述，但请记住，成功并非有保证的，它依赖于我们集体的努力。
下面是我对强大AI开发后5-10年内发展中国家可能会发生的情况的一些猜想：
粮食安全24[89]。20世纪，作物技术的进步（如更好的肥料和农药、更多的自动化以及更有效的土地利用）大幅增加了作物产量[90]，拯救了数百万人免于饥饿。基因工程目前正在提高[91]许多作物的产量。找到更多的方法来做到这一点——以及使农业供应链更加高效——可能会带来AI驱动的第二次绿色革命[92]，帮助缩小发展中国家和发达国家之间的差距。
应对气候变化。气候变化将在发展中国家感受得更为强烈，阻碍其发展。我们可以预期，AI将带来减缓或防止气候变化的技术进步，从大气碳清除[93]和清洁能源技术到实验室培育肉[94]，后者减少了我们对碳密集型工厂化养殖的依赖。当然，正如前面讨论的，技术并不是限制气候变化进展的唯一因素——就像本文讨论的所有其他问题一样，人类社会因素也很重要。但有充分理由认为，AI增强的研究将为我们提供手段，使应对气候变化的成本和破坏性大大降低，消除许多反对意见，使发展中国家能够取得更多的经济进展。
退出问题。在发达国家和发展中国家都有一个担忧，即人们选择退出AI带来的好处（类似于反疫苗运动，或更普遍的反技术运动）。可能会出现恶性循环，例如，那些最不具备做出正确决策能力的人退出了正是那些能改善其决策能力的技术，导致差距不断扩大，甚至创造出一个反乌托邦式的下层阶级（一些研究人员认为这将破坏民主[96]，这是我在下一节中进一步讨论的一个话题）。这将再次玷污AI的积极进展。这是一个难以解决的问题，因为我认为不道德的是强迫他人，但我们至少可以尝试提高人们的科学理解——或许AI本身可以帮助我们做到这一点。一个令人鼓舞的迹象是，历史上的反技术运动更多的是雷声大雨点小：反对现代技术的呼声很高，但最终大多数人还是会采用它，至少当这是一种个人选择时。个人往往会采用大多数健康和消费技术，而真正受到阻碍的技术，如核能，往往是集体政治决策的结果。
4.和平与治理
假设前面三个部分顺利进行：疾病、贫困和不平等显著减少，人类生活的基线大幅提升。这并不意味着所有导致人类痛苦的主要原因都得到了解决。人类仍然对彼此构成威胁。虽然技术进步和经济发展有向民主和和平发展的趋势（如这里所示[97]），但这是一个非常松散的趋势，伴随着频繁的（以及最近的[98]）倒退。在20世纪初，人们以为[99]他们已经将战争抛在身后；接着爆发了两次世界大战。三十年前，弗朗西斯·福山写下了“历史的终结[100]”一书，认为自由民主最终会胜利；但这还未实现。二十年前，美国的政策制定者相信与中国的自由贸易会随着其变得富裕而使其走向自由化；但这一切并没有发生，现在我们似乎正走向第二次冷战[101]，面对一个重新崛起的威权集团。而且有一些可信的理论认为，互联网技术实际上可能使威权主义受益[102]，而不是像最初认为的那样促进民主（如“阿拉伯之春”时期）。因此，理解强大的AI将如何与这些和平、民主和自由的问题交织在一起显得尤为重要。
遗憾的是，我看不到任何有力的理由认为AI会优先或结构性地促进民主与和平，就像我认为它将结构性地促进人类健康和缓解贫困一样。人类冲突是对抗性的，AI原则上可以帮助“好人”也可以帮助“坏人”。如果有任何结构性因素令人担忧的话，那就是AI可能会极大地提高宣传和监控的效率，而这两者都是du裁者的主要工具。因此，作为个体行动者，我们有责任将事情朝着正确的方向引导：如果我们希望AI偏向于民主和个人权利，我们必须为此而奋斗。我对这一点的感受比对国际不平等问题还要强烈：自由民主的胜利和政治稳定并非保证，也许甚至不太可能实现，这将需要我们所有人做出巨大的牺牲和承诺，正如历史上经常发生的那样。
我将这个问题分为两部分：国际冲突和国家内部结构。在国际方面，似乎非常重要的是，当强大的AI被创造出来时，民主国家在世界舞台上占据上风。AI驱动的威权主义似乎太可怕了，无法想象，因此民主国家需要能够设定引入强大AI的规则，既要避免被威权主义者压倒，也要防止威权国家内的侵犯人权行为。
我目前认为最好的方式是通过“协约策略”26[103]，即民主国家组成的联盟通过确保供应链安全、迅速扩展规模并阻止或延迟[104]对手获取芯片和半导体设备等关键资源，来在强大AI方面获得明确的优势（即便只是暂时的）。该联盟一方面使用AI实现强大的军事优势（威慑力），另一方面通过向更多的国家分配强大AI带来的好处（胡萝卜）来换取支持联盟的民主战略（这有点类似于“和平原子[105]”）。联盟的目标是获得越来越多国家的支持，将最恶劣的对手孤立起来，最终让他们处于与世界其他国家一样选择的境地：放弃与民主国家竞争，以换取所有的好处并避免与一个更强大的对手开战。
如果我们能做到这一点，我们将拥有一个由民主国家主导的世界，它们拥有经济和军事实力，不会被威权国家破坏、征服或破坏，或许还可以将它们的AI优势转化为持久的优势。乐观地说，这可能会带来一个“永恒的1991年”——一个民主国家占据上风的世界，福山的梦想得以实现。再说一次，要做到这一点将非常困难，特别是需要私人AI公司与民主政府的密切合作，以及关于胡萝卜与大棒平衡的极其明智的决策。
即使所有这些都顺利进行，仍然留下了民主与威权国家内部斗争的问题。显然，这里很难预测会发生什么，但我对假如全球环境是民主国家控制着最强大的AI，那么AI可能实际上会结构性地偏向民主制度持有一些乐观态度。特别是在这种环境下，民主政府可以利用其优越的AI赢得信息战：它们可以反制威权国家的影响力和宣传行动，甚至可能通过提供无法被威权国家封锁或监控的信息渠道和AI服务，创造一个全球自由的信息环境。这可能不需要宣传，只需反制恶意攻击并确保信息自由流通即可。虽然不是立竿见影的效果，但这种公平的竞争环境很有可能逐渐将全球治理引向民主方向，原因有几个。
其次，只要威权者无法进行审查，自由信息很有可能确实会破坏威权主义。而且，未经审查的AI还可以为个人提供强大的工具来削弱压迫性政府。压迫性政府通过剥夺人们某种“公共知识”来生存，阻止他们意识到“皇帝没有穿衣服”。例如，帮助推翻塞尔维亚米洛舍维奇政府的[斯尔贾·波波维奇]，已经写了大量关于心理上剥夺威权者权力的技巧，打破这种魔咒并聚集反对独裁者的支持。每个人口袋里都有一个超级高效的波波维奇版本（他的技能似乎与智力有高回报关系），独裁者无力阻止或审查这种AI，可能会为全球的异见者和改革者带来顺风。再说一次，这将是一场漫长而持久的斗争，胜利并不确定，但如果我们以正确的方式设计和构建AI，这至少可能是一场自由捍卫者们拥有优势的斗争。
如同神经科学和生物学一样，我们也可以问，事情如何能够“比正常更好”——不仅是如何避免威权主义，而是如何使民主制度比现在更好。即使在民主制度内部，不公正现象也时有发生。法治社会向其公民承诺，人人在法律面前平等，人人都应享有基本人权，但显然这种权利并未总是得到实践。即使这种承诺部分得以兑现，它也值得骄傲，但AI能否帮助我们做得更好呢？
例如，AI能否通过使决策和流程更加公正来改善我们的法律和司法系统？今天，人们在法律或司法背景下主要担心AI系统会成为歧视的原因[108]，这些担忧是重要的，需要加以防范。与此同时，民主制度的活力取决于利用新技术来改进民主机构，而不仅仅是应对风险。一个真正成熟和成功的AI实施，具有减少偏见并为每个人带来更多
公平的潜力。
几个世纪以来，法律体系一直面临着这样的困境：法律旨在保持公正，但本质上是主观的，因此必须由有偏见的人类进行解释。尝试使法律完全机械化并没有成功，因为现实世界是混乱的，并不能总是用数学公式来描述。因此，法律体系依赖于那些广为人知却不精确的标准，比如“残忍和异常的惩罚[109]”或“完全没有社会救赎价值[110]”等标准，然后由人类进行解释——而且常常以表现出偏见、偏袒或武断的方式进行解释。加密货币中的“智能合约[111]”尚未对法律产生革命性影响，因为普通代码不够智能，无法裁定多少有趣的问题。但AI可能足够智能：这是第一个能够以可重复和机械的方式做出广泛、模糊判断的技术。
我并不是建议我们用AI系统取代法官，但这种公正与理解和处理现实世界复杂情况相结合的能力似乎应该在法律和正义领域有一些正面的应用。至少，这些系统可以作为人类的辅助决策工具。透明性在任何此类系统中都非常重要，成熟的AI科学有可能提供这一点：这种系统的训练过程可以被广泛研究，并且高级的可解释性技术[112]可以用来深入了解最终模型并评估其是否存在隐性偏见，而这一点对人类来说是不可能做到的。这样的AI工具还可以用于在司法或警察环境中监控基本权利的侵犯，使宪法变得更加自我执行。
同样，AI还可以用于聚合意见并在公民之间推动共识，解决冲突，找到共同点，寻求妥协。在这个方向上已经有一些早期的想法被计算民主项目[113]提出，包括与Anthropic的合作[114]。更有知识和思考的公民显然会加强民主制度。
此外，AI在帮助政府提供服务方面也有明确的机会——例如健康福利或社会服务——这些服务在原则上应为每个人提供，但实际上在很多地方严重匮乏，且某些地方比其他地方更糟糕。这包括医疗服务、车辆管理局、税务、社会保障、建筑规范执行等。一个非常体贴和有见识的AI，其任务是以您能理解的方式向您提供政府法律上应该给予的一切，并帮助您遵守通常令人困惑的政府规定——这将是一个重大突破。增加国家能力不仅有助于履行法律面前人人平等的承诺，还增强了对民主政府的尊重。糟糕的服务实施目前是导致对政府不满[115]的主要驱动力之一。
所有这些想法都有些模糊，正如我在本节开始时所说的，我对它们的可行性并不像对生物学、神经科学和减贫领域的进展那么有信心。它们可能过于乌托邦式的。然而，重要的是要有一个雄心勃勃的愿景，敢于大胆设想并尝试。将AI视为自由、个人权利和法律面前平等的保障者，这一愿景太强大了，值得我们为之奋斗。21世纪的AI赋能国家不仅可以成为个人自由的更强大捍卫者，还可以成为帮助全球选择自由民主作为政府形式的希望灯塔。
5.工作与意义
即使前面四节中的一切都进展顺利——我们不仅缓解了疾病、贫困和不平等，甚至自由民主成为了主要的政府形式，而现有的自由民主国家也变成了它们更好的版本——至少还有一个重要的问题仍然存在。有人可能会反对说：“我们生活在如此先进的科技世界中，并且这是一个公平和体面的世界，这很好，但在AI做所有事情的情况下，人类将如何找到意义？就此而言，他们将如何在经济上生存？”
尽管如此，至少值得说几句话，同时要记住，本节的简短绝不能被视为我不认真对待这些问题的标志——恰恰相反，这是因为缺乏明确的答案。
相比之下，我认为经济问题比意义问题更难。在本节中，我所说的“经济”问题是指可能存在的这样一种问题，即大多数或所有人类可能无法在一个足够先进的AI驱动的经济中做出有意义的贡献。与我在第三节中讨论的不平等问题，尤其是对新技术的获取不平等问题不同，这是一个更宏观的问题。
然而，我确实认为，从长远来看，AI将变得如此广泛有效且如此廉价，这将不再适用。届时，我们当前的经济体系将不再合理，需要进行更广泛的社会对话来探讨经济应如何组织。
盘点
通过上面的各种主题，我试图描绘一个在AI发展顺利的情况下既现实又比今天的世界更美好的愿景。我不知道这个世界是否真的能够实现，即使它可以实现，也需要很多勇敢而有奉献精神的人付出巨大努力和斗争才能达到目标。每个人（包括AI公司！）都需要为防范风险和充分实现利益尽到自己的责任。
在伊恩·M·班克斯的《游戏玩家》一书中，主角是一个名为“文化”的社会成员，这个社会的原则与我在这里所描绘的愿景相似。主角前往一个镇压性的军事帝国，在那里，通过复杂的战争游戏来决定领导者。游戏复杂到一个玩家的策略往往反映出他们自己的政治和哲学观念。主角最终击败了皇帝，证明了他的价值观（文化的价值观）即使在一个由以竞争和适者生存为基础的社会设计的游戏中，也能代表一种胜利的策略。ScottAlexander的一篇著名博文也有同样的观点——竞争是自我挫败的，最终会导致一个以同情与合作为基础的社会。“道德宇宙的弧线”也是类似的概念。
我认为文化的价值观是一种胜利的策略，因为它们是无数小决定的总和，这些决定有明显的道德力量，并且会把所有人团结在同一边。基本的人类直觉，如公平、合作、好奇心和自主性，难以反驳，而且往往具有累积性，而我们更具破坏性的冲动往往不具有这种累积性。很容易辩论说，如果我们能预防，孩子就不应该死于疾病，而从那里推导出所有孩子都应该享有同样的权利也并不困难。从那里也很容易推论出我们应该团结起来，运用我们的智慧来实现这个结果。很少有人会不同意那些不必要地攻击或伤害他人的人应该受到惩罚，而从那里到认为惩罚应该在所有人之间一致且系统化，也只需跨一步。同样，直觉上，人们应该对自己的人生和选择拥有自主权和责任。这些简单的直觉，如果推到它们的逻辑结论，最终会导致法治、民主和启蒙价值观。即使不是不可避免的，至少作为一种统计趋势，人类已经朝着这个方向前进。AI只是为我们提供了一个更快到达这个目的地的机会——让逻辑更加鲜明，目标更加清晰。
然而，它仍然是一个超越凡俗的美好事物。我们有机会在让它成为现实的过程中扮演一小部分角色。
致2024年诺贝尔化学奖的获得者，感谢你们为我们指明了道路。
脚注
2.我预料到一小部分人的反应会是"这相当温和"。我认为这些人需要，用Twitter的说法，"接地气"。但更重要的是，从社会角度来看，温和是好事。我认为人们一次只能应对有限的变化，而我所描述的步伐可能接近社会在不发生极端动荡的情况下所能吸收的极限。[123]
3.我发现AGI是一个不精确的术语，它积累了许多科幻色彩和炒作。我更喜欢"强大的AI"或"专家级科学和工程"这样的说法，它们能表达我的意思而不带炒作。[124]
6.这可能看起来像是一个稻草人论点，但像TylerCowen[127]和MattYglesias[128]这样谨慎的思想家已经将其作为一个严肃的问题提出(尽管我认为他们并不完全持有这种观点)，我认为这并不荒谬。[129]
7.我所知道的最接近解决这个问题的经济学工作是关于"通用目的技术"和"无形投资[130]"的研究，这些作为补充[131]服务于通用目的技术。[132]
8.这种学习可以包括临时的、上下文内容的学习，或传统的训练;两者都将受到物理世界的速率限制。
10.当然，另一个因素是强大的AI本身可能被用来创造更强大的AI。我的假设是，这可能(事实上，很可能)会发生，但其影响可能比你想象的要小，正是因为这里讨论的"智能边际收益递减"。换句话说，AI将继续快速变得更智能，但其效果最终将受到非智能因素的限制，分析这些因素对AI以外的科学进步速度最为重要。[135]
11.这些成就对我来说是一种启发，也许是AI被用来改变生物学的最有力的现有例子。[136]
12.“科学的进步取决于新技术、新发现和新思想，可能按这个顺序。”-SydneyBrenner[137][138]
13.感谢ParagMallick提出这一观点。[139]
14.我不想在正文中塞满关于AI驱动的科学可能做出的具体未来发现的猜测，但这里是一些可能性的头脑风暴：—设计更好的计算工具，如AlphaFold和AlphaProteo—也就是说，一个通用AI系统加速我们制造专门的AI计算生物学工具的能力。—更高效和选择性的CRISPR。—更先进的细胞疗法。—材料科学和微型化突破，导致更好的植入设备。—对干细胞、细胞分化和去分化的更好控制，以及由此产生的重新生长或重塑组织的能力。—对免疫系统的更好控制：选择性地激活它以应对癌症和传染病，选择性地关闭它以应对自身免疫疾病。[140]
15.当然，AI也可能帮助我们更聪明地选择要进行的实验：改进实验设计，从第一轮实验中学到更多，以便第二轮实验可以聚焦于关键问题，等等。[141]
16.感谢MatthewYglesias提出这一观点。[142]
17.快速进化的疾病，比如那些本质上将医院作为进化实验室[143]不断提高其抗治疗能力的多重耐药菌株，可能特别难以处理，可能是阻止我们达到100%的因素。[144]
19.这是我愿意，尽管治愈疾病和减缓衰老过程本身之间存在明显的生物学差异，从更远的距离看统计趋势并说"即使细节不同，我认为人类科学可能会找到继续这一趋势的方法;毕竟，任何复杂事物中的平滑趋势必然是由非常异质的组成部分相加而成的。[146]
23.我怀疑它有点像一个经典的混沌系统–被不可约的复杂性所困扰[150]，必须以大部分去中心化的方式进行管理。尽管正如我在本节后面所说，更温和的干预可能是可行的。经济学家ErikBrynjolfsson向我提出的一个反论是，大公司(如沃尔玛或优步)开始拥有足够的集中知识，能够比任何去中心化的过程更好地理解消费者，这可能迫使我们修改哈耶克的见解[151]关于谁拥有最佳的本地知识。[152]
24.感谢KevinEsvelt提出这一观点。[153]
25.例如，手机最初是富人的技术，但很快变得非常便宜，年复一年的改进速度如此之快，以至于购买"奢侈"手机的任何优势都被消除了，如今大多数人拥有的手机质量相似。[154]
26.这是RAND即将发表的一篇论文的标题，大致阐述了我所描述的策略。[155]
27.当普通人想到公共机构时，他们可能会想到他们在机动车管理局、国税局、医疗保险或类似机构的经历。使这些经历比现在更积极似乎是一种强有力的方式来对抗不当的愤世嫉俗。[156]
28.事实上，在一个由AI驱动的世界里，这种可能的挑战和项目的范围将比今天广阔得多。[157]
参考资料
[7]奇点
您当前使用的浏览器版本过低，导致网站不能正常访问，建议升级浏览器