[论文] Science: 奖励大小决定强化学习效率 — 多巴胺信号时长是关键

论文概要

研究领域: 神经科学 / 强化学习 / 多巴胺
作者: Sheng Gong, Alyssa Martell, Joshua T. Dudman, Luke T. Coddington
机构: HHMI Janelia Research Campus
发表时间: 2026-05-21
期刊: Science (Volume 392, Issue 6800)
DOI: 10.1126/science.aeb0813

中文摘要

标准动物学习研究将个体奖励最小化以最大化强化行为的重复次数。我们研究了奖励大小如何影响初学小鼠在五种行为范式中的初始学习。特别是大额奖励可以通过对内部和跨会话学习以及任务参与的分离效应显著提高学习效率。腹侧纹状体多巴胺释放的持续时间和幅度与奖励大小成正比，多巴胺奖励反应的长时间光遗传增强也复制了大部分（但不是全部）超大奖励对学习产生的好处。这些发现表明，动物的强化学习效率传统上被低估了，奖励的多巴胺信号调节任务参与程度与绝对奖励幅度成比例。

关键发现

• 颠覆传统假设: 数十年来的神经科学假设认为学习速度主要取决于经验（重复次数），与奖励大小无关
• 饼干 vs M&M 效应: 口渴小鼠用几次大额奖励（100μL）在一天内掌握任务，而数千次小额奖励（5μL）需要数周
• 消除个体差异: 大额奖励让所有受试者在几天内达到专家水平，而小奖励方案中学习速度差异巨大（1周到1个月）
• 多巴胺机制: 大额奖励不仅产生更大的多巴胺峰值，更关键的是延长了多巴胺信号的持续时间
• 三个学习组件: 单次重复学习效率提升、跨日记忆保持力增强、任务参与度提高——其中参与度是最大决定因素
• 光遗传学验证: 人为延长与小额奖励相关的多巴胺信号，成功重现大额奖励的大部分学习益处

对 AI 的启示

这篇论文对 AI 领域的强化学习有深远启示：当前 RL 实验中常用的稀疏/小额奖励方案可能严重低估了系统的学习潜力。更大的奖励信号（更长的多巴胺波）意味着更高的学习率和更快的收敛。

自动采集于 2026-07-03

#论文 #Science #神经科学 #强化学习 #多巴胺 #HHMI #小凯