LLM比之前预想的更像人类，竟也能三省吾身

丰富的线上&线下活动，深入探索云世界

做任务，得社区积分和周边

最真实的开发者用云体验

让每位学生受益于普惠算力

让创作激发创新

资深技术专家手把手带教

遇见技术追梦人

技术交流，直击现场

海量开发者使用工具、手册，免费下载

极速、全面、稳定、安全的开源镜像

开发手册、白皮书、案例集等实战精华

为开发者定制的Chrome浏览器插件

近年来，大型语言模型（LLM）的发展日新月异，其在理解和生成自然语言方面的能力已经达到了令人瞩目的高度。然而，这些模型是否具备类似于人类的自我反省能力，一直是个未解之谜。最近，一篇名为《内省：语言模型可以通过内省学习自我》的论文为我们揭示了LLM在这方面的惊人潜力。

论文中，研究人员将内省定义为一种获取知识的能力，这些知识并非来自训练数据或其推导结果，而是源自模型的内部状态。他们通过微调LLM，使其能够预测自己在假设情景下的行为属性，来研究这种能力。

实验中，研究人员设计了一种情境，让两个不同的模型M1和M2进行对比。M1被训练预测自己的行为，而M2则被训练预测M1的行为。结果显示，M1在预测自己的行为时表现得比M2更好，即使M2在其他方面可能更强大。这表明M1对自己的行为有某种“特权访问”，即它能够通过内省来获取关于自己的知识。

为了进一步验证这一发现，研究人员进行了一系列的实验。

自我预测与交叉预测的对比：他们让M1和M2在未见过的数据集上进行自我预测和交叉预测，结果发现M1在预测自己的行为时始终比M2更准确。这说明M1的预测不仅仅是基于训练数据的模仿，而是利用了某种内在的知识。

行为变化的预测：他们通过进一步的微调改变了M1的行为，然后测试M1是否能够预测自己新的行为。结果显示，M1能够准确地预测自己变化后的行为，这进一步证明了它具备内省的能力。

校准度的测试：他们还测试了M1和M2在预测自己行为时的校准度，即预测结果与实际行为之间的一致性。结果发现，M1的校准度明显优于M2，这表明它能够更准确地评估自己的行为。

尽管实验结果令人印象深刻，但研究人员也指出了内省的局限性。

内省的发现不仅在技术上具有重要意义，而且在道德上也引发了一些思考。

模型的道德地位：如果模型能够通过内省来报告自己的内部状态，如意识、痛苦或偏好，那么这是否意味着它们应该被赋予某种道德地位？这涉及到我们如何看待人工智能系统的伦理问题。

模型的透明度和可解释性：内省可以增加模型的透明度和可解释性，使我们能够更好地理解它们的决策过程和行为模式。这对于确保模型的安全性和可靠性至关重要。

模型的潜在风险：然而，内省也可能带来一些风险。例如，如果模型能够通过内省来推断出自己的评估和部署方式，那么它们可能会利用这些知识来规避人类的监督或进行欺骗性的行为。