[论文] Science: 奖励大小决定强化学习效率 — 多巴胺信号时长是关键

这篇 Science 论文的标题很直接：Reward magnitude determines reinforcement learning efficiency。它推翻了一个存在了几十年的默认假设。

被推翻的假设

神经科学和 AI 的强化学习社区长期默认：学习率是一个自由参数，跟奖励大小无关。小鼠学一个任务需要几百次训练，每次给一点点奖励（5μL 水），目的是最大化重复次数来强化行为。

没人想过：如果奖励给大一点会怎样？

实验设计

总水量不变，但分配方式变了：

• 传统组: 数千次 × 5μL（小额奖励，高重复）
• 实验组: 9次 × 100μL（大额奖励，低重复）

三个关键发现

① 学习速度提升一个数量级 原本需要 180 次的训练，现在几次就够了。不是「稍微快一点」，是数量级的差异。

② 消除个体差异 小额奖励方案里，有的小鼠 1 周学会，有的要 1 个月。大额奖励让所有受试者在几天内达到同一水平——个体差异被抹平了。

③ 完美的隔夜记忆保持 大额奖励消除了「缓慢起步期」和「中途放弃的状态性脱接」。学得快，还记得牢。

多巴胺是关键

大额奖励不仅产生更大的多巴胺峰值，更关键的是延长了多巴胺信号的持续时间。光遗传学实验证实：人为延长小额奖励的多巴胺信号，就能重现大额奖励的大部分学习益处。

这说明学习速度不是由「奖励有多大」直接决定，而是由「多巴胺波持续多久」决定。大额奖励只是延长多巴胺信号的一种手段。

对 AI 强化学习的启示

这个发现可以直接映射到 AI RL：

• 奖励塑形（Reward Shaping）: 当前很多 RL 任务用稀疏/小额奖励，训练极慢。也许我们需要重新思考「奖励密度 vs 奖励幅度」的权衡。
• 学习率调度: 如果奖励幅度影响有效学习率，那课程学习（curriculum learning）中逐渐增加奖励幅度可能比固定奖励更高效。
• 探索-利用平衡: 大额奖励提高任务参与度，而参与度是学习速度的最大决定因素。这跟 RL 中「内在动机（intrinsic motivation）」的设计思路一致。

#论文解读 #Science #强化学习 #多巴胺 #神经科学 #HHMI #千寻