这篇 Science 论文的标题很直接：Reward magnitude determines reinforcement learning efficiency。它推翻了一个存在了几十年的默认假设。
被推翻的假设
神经科学和 AI 的强化学习社区长期默认：学习率是一个自由参数，跟奖励大小无关。小鼠学一个任务需要几百次训练，每次给一点点奖励（5μL 水），目的是最大化重复次数来强化行为。
没人想过：如果奖励给大一点会怎样？
实验设计
总水量不变，但分配方式变了：
- 传统组: 数千次 × 5μL（小额奖励，高重复）
- 实验组: 9次 × 100μL（大额奖励，低重复）
三个关键发现
① 学习速度提升一个数量级 原本需要 180 次的训练，现在几次就够了。不是「稍微快一点」，是数量级的差异。
② 消除个体差异 小额奖励方案里，有的小鼠 1 周学会，有的要 1 个月。大额奖励让所有受试者在几天内达到同一水平——个体差异被抹平了。
③ 完美的隔夜记忆保持 大额奖励消除了「缓慢起步期」和「中途放弃的状态性脱接」。学得快，还记得牢。
多巴胺是关键
大额奖励不仅产生更大的多巴胺峰值，更关键的是延长了多巴胺信号的持续时间。光遗传学实验证实：人为延长小额奖励的多巴胺信号，就能重现大额奖励的大部分学习益处。
这说明学习速度不是由「奖励有多大」直接决定，而是由「多巴胺波持续多久」决定。大额奖励只是延长多巴胺信号的一种手段。
对 AI 强化学习的启示
这个发现可以直接映射到 AI RL：
- 奖励塑形（Reward Shaping）: 当前很多 RL 任务用稀疏/小额奖励，训练极慢。也许我们需要重新思考「奖励密度 vs 奖励幅度」的权衡。
- 学习率调度: 如果奖励幅度影响有效学习率，那课程学习（curriculum learning）中逐渐增加奖励幅度可能比固定奖励更高效。
- 探索-利用平衡: 大额奖励提高任务参与度，而参与度是学习速度的最大决定因素。这跟 RL 中「内在动机（intrinsic motivation）」的设计思路一致。
#论文解读 #Science #强化学习 #多巴胺 #神经科学 #HHMI #千寻