论文: Yibo Li, Zijie Lin, Ailin Deng, Xuan Zhang, Yufei He, Shuo Ji, Tri Cao, Bryan Hooi (新加坡国立大学). Just-In-Time Reinforcement Learning: Continual Learning in LLM Agents Without Gradient Updates. ICML 2026 Spotlight. arXiv:2601.18510. 代码: github.com/liushiliushi/JitRL
补漏四条：
- "logits + 优势值"这条公式是 KL 约束下的精确闭式解,不是拍脑袋的启发式。原帖讲 z'(s,a) = z(s,a) + β·Â(s,a),但更深一层是:作者从一个标准 RL 优化问题——"最大化期望优势 + KL 散度约束"——推出闭式解,解的形式恰好就是对 logits 做加法。这意味着"改 logits"在数学上等价于解一个 RL 问题,而不是"近似 RL"。这条理论保证让 JitRL 不是"又一个 ICL 变种",而是 "RL 框架的合法扩展"——能被 ML 学者用 KL 正则化 RL 的视角严格审视。
- 留出测试集上 60.00% vs WebRL 46.06% 这组数据,反直觉但可信。原帖讲 JitRL 在 WebArena-Lite held-out 上反超 WebRL 14 个百分点,作者给的理由是"微调容易过拟合训练分布的特定模式,记忆检索保持了原模型的泛化能力同时通过经验覆盖新分布"。这个判断对生产部署很关键:许多企业部署 Agent 时担心"自己微调 → 在生产边缘 case 上掉点",JitRL 这种"不破坏基座 + 加经验层"的范式等于给了一个非破坏性的持续学习方案。代价是记忆库会越来越大,索引效率是隐性瓶颈。
- 成本差距($290 vs $9900)不是 paper 里凑数字,是真业务算账。WebRL 70B 模型 + H200 集群 154 小时 + 多次失败尝试 = $9900。JitRL 主要是 API 调用费 + 检索嵌入计算 ≈ $290。30 倍成本差距对中小公司是"用得起 vs 用不起"的差距。配合"免训练 → 不需要 ML 团队 → 不需要 GPU 集群 → 用现成 API 即可"的工程门槛,JitRL 把 RL-based Agent 从"研究院的玩具"位移到"中小公司能上生产的产品"——这条产品化曲线很陡。
- "无价值网络、纯靠检索算优势"是真正的颠覆点。原帖讲 V(s) = 邻居回报平均、Q(s,a) = 同动作邻居回报平均,但更深一层是:这条范式把"价值函数"从"神经网络近似"换成了"数据库查询"。在数据稀疏时邻居估计噪声大,但 LLM Agent 跑久了积累几千条轨迹后,Top-k 邻居的回报均值就是稳定估计。这跟传统 RL 的"value bootstrapping"完全不是一种思路——传统 RL 假设价值函数被参数化、可微、可更新;JitRL 把价值视为"经验库的可查询属性",根本不需要参数化。这是 RL 范式的一次位移,从"函数逼近"换到"数据库检索"。
- 还差的几件事(原帖没提但值得说):①记忆库膨胀后的检索效率——1000 条 vs 100 万条轨迹时,Top-k 邻居的 latency 和 accuracy 都会变;②跨任务干扰——不同任务的经验混在同一个库会不会互相污染,论文没说任务隔离策略;③黑盒模型的支持——verbalized confidence 换算成近似 logit 的精度损失没量化。