在对齐AI时,为什么在线方法总是优于离线方法?

在线和离线对齐算法的性能差距根源何在?DeepMind实证剖析出炉

AI对齐是否必需在线强化学习?

对于这个问题,人们希望既知道其理论上的答案,也希望明晰实验给出的解答。

从实证角度看,相比于大家常用的在线RLHF(由偏好建模和从模型采样组成),离线算法实现起来要简单得多,成本也低得多。因此,收集有关离线算法的充分性的证据可让AI对齐变得更加简单。另一方面,如果能明晰常用在线RLHF的优势,也能让我们理解在线交互的基本作用,洞见离线对齐方法的某些关键挑战。

在线算法与离线算法的对比

要公平地比较在线和离线算法并非易事,因为它们存在许多实现和算法方面的差异。举个例子,在线算法所需的计算量往往大于离线算法,因为它需要采样和训练另一个模型。因此,为了比较公平,需要在衡量性能时对不同算法所耗费的预算进行一定的校准。

在DeepMind的这项研究中,研究团队在比较时并未将计算量作为一个优先考虑因素,而是采用了Gaoetal.(2023)的论文《Scalinglawsforrewardmodeloveroptimization》中的设置:使用RLHF策略和参考SFT策略之间的KL散度作为预算的衡量指标。

在不同的算法和超参数设置中,KL散度是以一种统一的方式衡量RLHF策略与SFT策略的偏离程度,从而能以一种经过校准的方式对算法进行比较。

基于古德哈特定律比较在线和离线算法的性能

首先,该团队比较了在线和离线算法的过度优化(over-optimization)行为——该行为可通过将古德哈特定律外推至AI对齐领域而预测得到。

简单总结起来,古德哈特定律(Goodhart’slaw)可以表述成:一项指标一旦变成了目标,它将不再是个好指标。

该团队采用了与Gaoetal.(2023)类似的设置,基于一组开源数据集进行了实验,结果表明:在同等的优化预算(相对于SFT策略的KL散度)下,在线算法的性能表现通常优于离线算法。

图1给出了在线和离线算法在四个不同的开源数据集上表现出的KL散度与策略性能之间的权衡。图中的每个数据点代表了在训练过程中某个特定检查点下,针对特定一组超参数的策略评估结果。

其中,对于在线算法,超参数并未被大量调整,而是始终使用一组固定的超参数;对于离线算法,则是将不同超参数的结果池化后得出。可以观察到如下结果:

总之,在线算法完全胜过离线算法,这也奠定了后续研究的基础。

对于在线和离线算法性能差异的假设

为了更好地理解在线和离线算法性能差异的根源,该团队通过假设验证的形式进行了研究。

也就是说首先提出一些假设,然后验证它是否正确。先来看看他们提出了怎样的假设。

假设2:次优的离线数据集。离线算法处于劣势,因为其初始的偏好数据集是由一个次优的策略生成的。如果使用有更高绝对质量的响应训练离线算法,则性能会更好。

假设3:分类能力更好,则性能更好。离线算法通常是将策略作为分类器进行训练。但是,作为分类器,它们可能并不如代理偏好模型那样准确(因为对分类进行参数化的有效方式不同)。如果准确度提升,则其性能也会提升。

假设4:非对比式损失函数。在这样的性能差异中,有多大部分可归因于对比式的损失函数,而不是离线的样本?

假设5:扩展策略就足够了。要弥合在线和离线算法之间的差距,只需提升策略大小就足够了。

实验和结果

实验设置

为了验证上述假设,该团队进行了大量对照实验。

所有实验都使用T5X模型,并搭配了T5X数据和计算框架。为了较好地覆盖RLHF问题,他们研究了四种任务:OpenAI摘要、Anthropic辅助、聊天竞技场、Anthropic无害性。

图2给出了这些对照实验的设置情况,其整体上基于Gaoetal.,2023。其中,绿框表示数据集,蓝框表示学习到的偏好模型或策略。

该团队的实验研究涉及多个维度,其得到的主要结果如下。

数据

该团队提出的一些假设涉及到离线数据集的性质。其中包括假设离线数据集的覆盖情况比在线生成的数据集差;假设离线算法对离线数据集更敏感,而离线数据集中响应的绝对质量要差一些。(图4和图5分别证否了这两个假设)。

尽管这些假设听上去似乎是对的,但实验结果表明它们无法可信地解释在线和离线算法的性能差距。

他们通过消融研究发现,提升离线优化的一种有效方法是生成分布上接近起始RLHF策略(这里就刚好是SFT策略)的数据,这本质上就模仿了在线算法的起始阶段。

优化性质

该团队发现判别能力和生成能力之间存在一种有趣的相互作用:尽管离线策略的分类能力胜过在线策略,但离线策略生成的响应却更差(见图6、7、8)。

不管是类间分类还是类内分类实验,分类性能和生成性能之间的关联似乎都不大。尽管离线和在线采样都是针对一个判别目标优化的,但离线采样是提升在一个静态数据集上的分类准确度,而在线采样则是通过不断改变采样分布来提升生成质量。实验表明,离线策略的生成性能提升不如在线策略的直接。

损失函数与扩展

为了确保所得结果更普适,他们还研究了用于RLHF的对比式和非对比式损失函数。

在线与离线性能之间的差距似乎总体上持续存在,尽管这种差异的根本原因可能与算法有关。他们也研究了性能差距随策略网络规模扩展的变化情况(见图10和11)。性能差距一直存在这一事实说明:只是扩展模型规模可能无法解决采样问题。

尽管实验结果暗示了在策略采样对模型对齐的根本重要性,但这些结果也许有助于揭示离线对齐算法的实验内部工作原理,并揭示性能差异的根源。总而言之,这些发现为RLHF实践者提供了有趣的见解和挑战,并为更有效的AI对齐实践铺平了道路。

根据现有的强化学习研究成果,在线比离线更好似乎是显而易见的结论。在线和离线强化学习算法之间的性能差距也已经被多项研究发现,所以这项研究给出了什么不一样的结论呢?

最重要的是,在线RLHF算法依赖于一个学习后的奖励模型,该奖励模型是使用与离线RLHF算法一样的成对偏好数据集训练得到的。这与常规强化学习设置存在根本性差异——常规强化学习假设能以在线方式获取基本真值奖励,在这种情况下,在线强化学习的优势明显。假设RLHF受到奖励信号的瓶颈限制,我们就不清楚在线与离线的差距是否还会这样显著。

从更技术性的角度来看,许多RLHF算法采用了上下文赌博机的设计形式,并针对参考策略应用了正则化。这样的算法细节让RLHF偏离了常规的强化学习设置,这可能会影响离策略学习问题的严重程度。

THE END
1.QQ中的4G在线标志,技术原理与含义解析五金交电在QQ中,用户的网络状态标识是判断其是否在线以及当前网络状况的重要依据,这些状态标识包括“在线”、“离线”、“忙碌”、“隐身”等。“在线”表示用户当前正在使用QQ,且网络连接正常;“离线”则表示用户当前未登录或网络断开,而“忙碌”和“隐身”则是用户根据自己的需求设置的特殊状态,近年来,随着智能手机的普及和http://xjxygt.cn/post/15467.html
2.重新定义数字时代的差距与连接,探索在线与离线的新境界如何把握“差不在线”的度? 虽然“差不在线”的状态有其优点,但我们也不能忽视它可能带来的问题,过度离线可能导致我们错过重要的信息,影响工作和生活,我们需要学会如何把握“差不在线”的度。 我们需要明确自己的需求和目标,我们需要根据自己的生活和工作情况来决定何时需要“差不在线”,我们需要与身边的人进行沟通,https://hnjwwzy.cn/post/223.html
3.安卓手机游戏设备已离线什么意思连接手机助手时出现设备离线什么以上六种方法本人亲测。2,手机离线是什么意思离线模式就是切断手机信号的模式。在这种模式下,依然可以将手机开着机来做别的事,比如用手机听歌、看电影等,但是不能使用需要用到信号的一切业务,比如上网,接发短信和接打电话等。一句话,就是将手机断网的状态,好比一台电脑断掉了宽带,但你依然可以https://zhidao.baidu.com/question/1971449725833738460.html
4.QQ4G在线,移动互联网新时代的开启人文地理旅行3、更丰富的功能:随着移动互联网的发展,QQ也在不断创新,推出了许多新功能,通过QQ 4G在线,用户可以享受到更多的社交体验。 QQ 4G在线的优势 1、便捷性:随着智能手机的普及,QQ 4G在线为用户提供了随时随地通讯的可能,无论是工作还是生活,只要有网络,就能随时随地使用QQ。 http://www.yntuanjiantong.cn/post/9236.html
5.最后纪元离线和在线区别是什么最后纪元离线在线有什么不同在离线版里玩家是不能喝其他玩家进行组队或者交易的,只能一个人进行单机游戏。而在线版的玩家就可以邀请其他玩家一起组队冒险,还可以在集市里与其他玩家进行交易。接下来九游小编就给大家带来最后纪元离线在线有什么不同。 最后纪元离线和在线区别是什么? 能不能联机的区别。https://www.9game.cn/news/9901357.html
6.抖音显示今天在线和在线有什么不同抖音好友显示在线和今天在线的区别就在于,显示在线说明你和好友正在同时看抖音,对方还在线,如果显示今天在线是对方已经离线了,但是今天看过抖音。抖音可以显示好友在线状态,有的用户发现有好友显示的是几分钟或几小时前在线,而有的好友显示的却是今天在线,其实抖音里显示几小时前在线的都在6小时以内,如果好友的离线https://wap.zol.com.cn/ask/x_15961691.html
7.梁宝川:如何使用Anki插件?(8000余字干货)并不是大家所想的那样,换了不同系统,Anki的插件还要重新找新的。 基本上大部分插件都是可以通用的。 8.插件可以在线安装,也可以离线安装 Anki插件的安装方式主要有两种 一个就是从官网上进行下载安装,也就是俗称的在线安装。 还有一种方式就是我们可以提前将相应的插件进行备份,借此进行离线安装。 http://www.360doc.com/content/21/0528/12/75511427_979375167.shtml
8.微信在线不在线的区别是什么?有什么方法知道好友是否在线?几年前,我们常用的聊天软件是qq,而现在,微信的风头几乎已经改过了qq。微信在很多功能方面和qq类似,不过,也有些不一样的功能。比如,微信在线与不在线,很多人都不知道这两者有什么区别,下面,我们来看看具体的情况。https://www.kaitao.cn/article/20180906115708.htm
9.双人成行离线和在线有什么区别双人成行二号玩家加入方法操作设备至少要有一个手柄,可以两个手柄,但不能两个键盘,windows系统的朋友可以用手机下载steam link把手机当手柄,如果两人都使用手柄的话,需要在windows端的控制器设置中设置一下。 离线和在线有什么区别 1、玩法不同。双人成行离线的玩法为线下玩法,需要玩家在线下相聚才可以一起游戏。双人成行在线可以通过网络直接https://gl.ali213.net/html/2022-6/860745.html
10.由于当前在线组态数据与离线组态数据不同,因此无诊断数据可用新建的程序文件,里面没程序的,正在组态,用的博图V15的,除了主CPU1511正常的,其他的所有模块包括PS模块都显示由于当前在线组态数据与离线组态数据不同,因此无诊断数据可用,请教一下什么原因 20-04-19 11:17 1楼 编辑 引用 管理 yangyao96a 20-04-19 11:18 2楼 编辑 引用 管理 dffeifei110 重新下载一https://m.gkong.com/bbs/477495.ashx
11.理解iOS消息推送一文就够:史上最全iOSPush技术详解最容易看到本地push的场景,可以直接在手机设置一个计时器,计时器时间到了就会弹出本地push: 因为本地push原理和作使用相对于在线push和离线push都更为简单明了,下文主要详情在线push和离线push。 4、本地push实现 4.1 iOS10以前本地push弹出方式 实验过iOS10以前的本地push方法在iOS10+的系统也能用,不过可能有些https://www.songma.com/news/txtlist_i2865v.html
12.unipush1.0常见问题Ios离线的通知除检查手机系统通知设置样式外,还需检查服务端push_channel里aps中的sound参数是否设置值为default;若设置成com.gexin.ios.silence,则苹果离线不会有声音。 iOS在线推送消息时,app 闪退一般是客户端抛异常了,需要在客户端的receive回调中判断msg.type是否为空。 华为https://ask.dcloud.net.cn/article/36611
13.职学在线App排行榜华为手机职学在线app推荐(CPA) 职业资格类: 社会工作师、初级社会工作师、中级社会工作师、社工师、高级社会工作师 医学类: 执业药师,执业中药师,执业西药师 学历类: 成人高考(成考) 【在线课堂】 19年在线职业教育实战经验,专业教研团队,为不同基础考生定制不同教学方案; 手机随时随地移动听课,充分利用考生的碎片化时间,将知识难点,解题http://vip.diandian.com/phb/1866/2-1.html
14.常见问题·国产操作系统麒麟操作系统——麒麟软件官方网站③ 离线安装(获取到相关的软件包):sudo dpkg -i 软件包名8) 银河系统都能安装安卓模拟器么? A: 现在只有飞腾和鲲鹏版本的系统能安装安卓模拟器。9) 可以安装apk应用软件吗? A: 不可以安装,只能使用软件商店已有的“手机APP”的应用。10) deb和rpm有什么区别? https://www.kylinos.cn/support/problem
15.hth网页版在线登录入口官方版hth网页版在线登录入口祝?您幸福《KY—AYX-JY》首存10038元hth网页版在线登录入口APP下载【首存送彩金】支持:64/128bit系统类型:hth网页版在线登录入口APP官方下载(2024全站)最新版本IOS/安卓官方入口v(安全平台)官方入口是直播吧12月8http://www.www.www.share.tfjun.com/
16.手机离线怎么设置在线状态显示手机离线设置在线状态显示通常需要在社交应用的设置中调整,打开应用,进入个人或隐私设置,找到在线状态选项,选择希望展示的在线状态即可。 在数字时代,智能手机几乎成了我们生活中不可或缺的一部分,它们帮助我们保持联系,管理日常任务,甚至在离线时也能提供娱乐,有时候我们可能需要将手机设置为在线状态,即使我们并不真正在https://www.kdun.com/ask/343240.html