新智元报说念

剪辑：LRS

【新智元导读】通过过程奖励模子（PRM）在每一步提供反应，并使用过程上风考据器（PAV）来展望进展，从而优化基础策略，该方式在测试时搜索和在线强化学习中显现出比传统方式更高的准确性和蓄意效果，显耀进步了措置复杂问题的能力。

在进步大型言语模子（LLM）在数学推理方面的能力时，一个常用的方式是磨砺一个奖励模子（reward model）或考据器（verifier），也不错行使强化学习在测试阶段（test-time）对总计措置决策进行重排序。

时时情况下，考据器的展望是总计这个词推理过程的规模，即规模奖励模子（ORM，outcome reward models），但这种奖励信号过于寥落，模子难以从中学习，而且搜索过程的效果也不高；表面上，通过细粒度的监督数据不错缓解这一问题。

在推理方面，先前有照料还是磨砺了过程奖励模子（PRMs，process reward models），在搜索的每一步或在强化学习时间分拨中间奖励，不外PRM数据齐开端于东说念主工标注，不具备可延迟性。

固然也有照料者磨砺PRMs来展望自动生成的标注，类似于强化学习中的价值函数，但到现在为止，自动化的PRMs与ORMs比拟，性能只是提高了1-2%，激发了业界对该时刻的质疑。

PRM不错用来实践搜索，或者动作密集奖励（dense rewards）来进步基础策略，是以问题的中枢造成了：到底该「如何想象经由奖励」？

最近，Google Research、Google DeepMind和卡内基梅隆大学的照料东说念主员调解发布了一篇论文，主要想路是，每一步的过程奖励齐应该对总计这个词过程进行度量：在承袭该门径「之前」和「之后」，模子在生成正确回应概率（likelihood）的变化进程，对应于强化学习中门径级别上风（step-level advantages）的意见；最弘大的是，该过程应该笔据与基本策略（basic policy）不同的解说计谋（prover policy）来度量。

论文贯穿：https://arxiv.org/pdf/2410.08146

照料东说念主员从表面上形色了一组好的解说器，并用实考据明了，优化来自解说器的过程奖励不错改善测试时搜索和在线强化学习时间的探索，而且不错通过劝诫不雅察到，弱解说器策略不错显着改善更强的基础策略。

通过磨砺过程上风考据器 (PAV，process advantage verifiers) 来展望解说器的过程，规模标明，与 ORM 比拟，针对 PAV 的测试时搜索准确率进步了8%，蓄意效果进步了1.5到5倍；使用PAV的密集奖励进行在线RL，已矣了在样本效果上5-6倍的进步，比ORM的准确率进步了6%

界说过程奖励

为了措置前边提到的奖励不笃定性，照料东说念主员磨砺了带有自动标注的过程奖励模子（PRMs），以便在测试时搜索和在线强化学习（RL）时间，通过优化磨砺后的PRMs提供的密集奖励来提高基础策略的蓄意和样本效果。

为此，文中主要措置了两个问题：

1. 每一步的过程奖励应该度量（measure）什么？

2. 应该使用什么样的自动数据聚积策略来磨砺展望PRMs？

传统的方式主要通过度量数学正确性或门径的相干性来已矣的，但这种监督信号是否简略最猛进程地修订基础策略尚不明晰，举例策略可能需要生成近似的，在测试时搜索和RL时间不正确的门径来探索和发现最终谜底。

照料东说念主员的关键目的是，议论逐门径过程奖励（在承袭门径之前和之后到达正确最终谜底的可能性的变化），个股期权关于测试时的beam search和在线强化学习齐是有用的。

强化那些不管是在正确或造作轨迹中出现齐赢得进展的门径，不错在发轫门径中各类化可能谜底的探索（exploration），在措置问题方式不解确时不错起到很弘大的作用。

从体式上来讲，这种奖励对应于强化学习中的逐门径上风（ per-step advantages），劝诫标明，使用上风以及ORM奖励比常见的使用往日得胜概率（future probabilities of success）或𝑄值来搜索和强化学习齐发挥得更好，主若是因为，在有限的蓄意和采样贬抑下，𝑄值主要「行使」（exploit）景况，而上风也「探索」（explore）对最终谜底最有孝顺的门径。

在回答第二个问题时，照料东说念主员发轫正经到，在大无数门径中，基础策略下的上风接近于0，因此对搜索或RL莫得信息量。

此外，非论基础策略的强度如何，使用其本身的逐门径上风动作RL中的过程奖励，会导致与仅使用规模奖励进行RL相易的基础策略更新（因为门径策略梯度算法还是蓄意了上风）。

因此，照料东说念主员冷漠使用在不同的解说策略下通过扶植想到的上风动作过程奖励。

然后应该如何礼聘解说策略？

一个很当然的目的/猜测是使用一个终点强劲的解说策略，但照料东说念主员发现，在过于强劲的解说策略下，模子不错从狂放门径中走向得胜，无法永诀出好和坏的门径；而关于终点弱的解说策略来说，也有类似的规模。

在表面上，照料东说念主员在文中将上述直观给体式化为，与基础策略互补的策略即为好的解说器，简略充分对比基础策略生成的门径上风，同期仍然生成与基础策略上风相干的门径级上风的策略。

举例，关于对应于基础策略的Best-of-𝐾策略，劝诫发现，对应于𝐾>1的解说策略更简略修订基础策略；与直观违犯，互补解说策略的聚拢也包含了比基础策略更差的策略。

为了展望这些解说策略的上风，照料东说念主员磨砺了密集的考据器，即过程上风考据器（PAV，process advantage verifiers），加快了RL和搜索的样本和蓄意效果；文中为磨砺PAV端正了实际的责任经由，并在一系列2B、9B和27B Gemma2模子上展示了有用性。

通过从解说策略中采样「种子」措置决策轨迹，以想到种子轨迹的每个前缀的𝑄值，并从团结策略中进行部分扶植（partial rollouts）来聚积PAV磨砺数据，责任经由端正了种子和部分扶植的有意比例。

实证规模显现，关于相易的测试时蓄意预算，针对磨砺有素的PAV的beam search在准确性上比针对ORM再行排序竣工轨迹进步>8%，蓄意效果提高了1.5-5倍。

PAV的密集奖励通过积极修剪措置决策的组合空间，并专注于各类化的可能序列集，提高了搜索时间门径级探索的效果。

此外，文中初度展示了使用PAV动作强化学习中的密集奖励，与仅使用规模奖励比拟，数据效果提高了6倍；使用PAV磨砺的基础策略也已矣了8倍更好的Pass @𝑁性能（在𝑁次尝试中采样正确措置决策的概率），从而为任何测试时再行排序器的性能提供了更高的上限。

终末，使用PAV进行强化学习，不错发现SFT策略在终点大的预算下也无法应答的疼痛措置决策。

参考府上：

https://arxiv.org/abs/2410.08146

• 模子
• 板块
• 国晟
• 讲理
• PRM