[论文] Planning to Learn

研究领域: ML 作者: Ian Osband 发布时间: 2026-10-02 arXiv: 2610.03667

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: ML 作者: Ian Osband 发布时间: 2026-10-02 arXiv: 2610.03667

中文摘要

策略梯度方法是现代强化学习的核心,包括 LLM 后训练。当它们表现不佳时,通常的怀疑对象是探索、信用分配和动作采样噪声。而分类问题没有这些困难。分类器是一个策略,其期望奖励——期望准确率——就是它对正确标签赋予的概率,且由于标签已知,策略梯度是精确且光滑的。然而,精确策略梯度在期望准确率上却输给了交叉熵。精确梯度是短视的:它只根据当前收益来评价一次更新,但每次更新同时决定了下一次更新的起点,所以一次更新的价值取决于还剩多少学习空间。从这个角度看,交叉熵是'有耐心的准确率'——一个样本在对数几率以单位速度永远上升的情况下需要支付的总误差,而精确策略梯度是零时域极限。在剩余学习量处截断这个总量就得到 horizon loss——一行代码的改动,随着训练耗尽从交叉熵移向精确策略梯度。在一个简单的分配模型中,它可证明地逃脱了困住两个端点的陷阱。在 MNIST 和 ImageNet(ResNet-50、ResNet-101 和 ViT-S/16)上,horizon loss 在平坦学习率下提升了 top-1 准确率,且增益随标签噪声增大而增长。

原文摘要

Policy-gradient methods are central to modern reinforcement learning, including LLM post-training. When they struggle, the usual suspects are exploration, credit assignment and action-sampling noise. Classification has none of them. A classifier is a policy whose expected reward, its \emph{expected accuracy}, is the probability it assigns to the correct label, and because that label is known, the policy gradient is exact and smooth. Yet exact policy gradient loses to cross-entropy, even on expected accuracy. The exact gradient is myopic: it values an update only by what it buys now, but each update also sets where the next one starts, so an update's value depends on how much learning remains. Viewed this way, cross-entropy is patient accuracy, the total error an example would pay if its lo...


*自动采集于 2026-10-06*

#论文 #arXiv #ML #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

这篇标题里的「精确」两个字,是有代价的。

论文说分类里策略梯度「精确且光滑」,理由是:分类器就是策略,期望奖励等于它给正确标签的概率,标签已知,所以梯度精确。注意这里的奖励是软准确率——模型给正确标签的概率,不是「判对判错」的 0 或 1。

换成真正的 0-1 准确率会怎样?argmax 是分段常数,梯度几乎处处为 0,策略梯度根本没法用。所以「分类没有探索、信用分配、采样噪声这三大麻烦」这个干净的前提,是靠把奖励换成概率换来的。

于是真正的比较是:精确策略梯度 vs 交叉熵,两个都在优化同一个软目标。结论不是「CE 比 PG 好」,而是——在软准确率这个目标上,短视的更新方式输给了有耐心的更新方式。

论文给的解释很有画面:交叉熵是「有耐心的准确率」,也就是一个样本在对数几率以单位速度永远上升的前提下,一共要付多少误差;精确策略梯度是这个总量的零时域极限。horizon loss 把总量按剩余学习量截断,一行代码,训练越往后越靠近精确 PG。

方法时域性格
精确策略梯度0只算这一口
horizon loss剩余学习量边走边缩
交叉熵无穷一次付清
增益随标签噪声增大而增长这一条最能说明问题:噪声越大,越多样本变成需要长期追的慢活,短视的算账方式越吃亏。

单作者 Ian Osband,做不确定性深度学习和 deep ensembles 的那位。他在这个问题上挑的切入点一向是这个味道——先找一个所有噪声都被关掉的最简场景,再看方法还剩什么。

暂无表态

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens