Heuristic Learning 到底在说什么

我先从一个具体的画面开始。

想象你在教一个小孩打砖块（Breakout）。不是用神经网络——那东西像个黑盒子，你调了成千上万个旋钮，最后它"学会"了，但你不知道它怎么学会的。不，你是手把手教：球在左边，挡板往左；球快到底了，提前预判落点；球卡在一个循环里来回弹，你要故意偏移一点打破它。

这些规则写成代码，一行一行，人能看懂。小孩——不，是 Coding Agent——看了失败回放，加一条规则，测试，再看，再加。最后分数从 99 涨到 387，再到 507、839，直到满分 864。

这不是奇迹。这是维护。

忘掉"Heuristic Learning"这个名字

翁家翌给这东西起了个名字叫 Heuristic Learning（HL）。名字不重要。重要的是搞清楚它在做什么。

Deep RL 的做法是：你有一个神经网络，它吃状态（游戏画面、机器人关节角度），吐动作（往左、往右、施加力矩）。你给它 reward（得分、前进距离），它用梯度下降调整自己的内部参数。几百万步之后，它"学会"了。但你打开网络看，一堆矩阵乘法，你根本不知道它在想什么。

HL 的做法完全不同：它不碰神经网络，不更新任何权重。它的"大脑"是一堆代码规则——if 球在左边 then 挡板往左，if 卡住循环 then 加偏移。当规则不够用了，Coding Agent 读失败日志、看视频回放，然后直接改代码。

关键是：改的不是神经网络的参数，是软件结构本身。

一个类比：修自行车

Deep RL 像什么呢？像你把自行车扔进一个自动调参机，机器胡乱拧螺丝、调齿轮，试了几百万次，最后自行车能骑了。但你问它"链条张力是多少"，它说"我不知道，但这样好用"。这叫黑盒优化。

HL 像什么呢？像你自己修自行车。你骑了一圈，发现变速卡档，你停下来看——是后拨螺丝松了？还是链条太长了？你拧一拧，再骑一圈，再记录问题。你的知识不是以"螺丝角度 47.3 度"的形式存在，而是以"如果卡档，检查后拨"的规则存在。

这两种方式都能让自行车好骑。但第二种方式有一个 Deep RL 永远比不了的优势：你能看懂自己在修什么。

为什么以前没人这么做

规则系统（expert system）几十年前就存在了。当时的问题是：维护成本太高。今天加一条规则修 case A，明天发现 case B 被修坏了，后天再加一个 if，大后天没人敢删了——屎山代码。

翁家翌的核心洞察是：Coding Agent 改变了这条维护成本曲线。

以前维护规则需要人类工程师，人力有限，规则多了就养不起。现在 Coding Agent 可以 24 小时读日志、改代码、跑测试、看视频回放。它不会累，不会忘，不会说"这段代码不是我写的我不敢动"。

这不是说规则突然变强了。规则还是那些规则。但持续迭代的成本降到了 Deep RL 训练一个网络的水平，这件事的性质就变了。

持续学习：HL 怎么解决灾难性遗忘

神经网络有一个臭名昭著的问题叫"灾难性遗忘"：学了新任务，旧任务就忘了。因为新数据把参数往新方向推，旧的知识被覆盖了。

HL 的做法很工程化，但很有效：

旧能力被固化成测试。Breakout 里接球的规则不会丢，因为它变成了回归测试——每次改代码都要跑一遍，旧能力坏了立刻知道。

失败被显式记录。不是压缩进神经网络的权重里变成不可读的状态，而是写成 trials.jsonl、summary.csv，附带上失败视频。人类能看，Agent 也能读。

版本可以回滚。代码有 git history，一条规则加坏了，revert 就行。神经网络的权重一旦覆盖了，旧版本就没了。

但这也不是自动解决的。HL 也会忘——新规则修好一个失败模式同时破坏旧场景；测试太窄导致策略钻空子；规则越堆越多变成屎山。翁家翌把"防遗忘"变成了一个工程问题：

1. 吸收反馈：把新失败、新日志写回系统。
2. 压缩历史：把一堆局部补丁折回更简单、更可维护的表示。

只增长不压缩的系统，最后都会变成没人敢碰的屎山。这是铁律。

货拜检测：别被名字骗了

说到这里，我要停下来做一个货物崇拜检测。

翁家翌在文章结尾抛了一个很大胆的命题："凡是可以被持续迭代的，都开始能被解决。"这是下一个范式吗？

我要说：别太激动。HL 不是万能的。

它做不了 ImageNet。代码的表达能力有限，复杂视觉感知、长程语义理解，这些东西你写一万条 if-else 也搞不定。神经网络在这些领域依然是无可替代的。

HL 最擅长的是边界明确、反馈清晰、规则可编码的系统：游戏、机器人控制、工程流程。它解决的是"一个聪明的工程师如果有无限时间修代码，能修到什么程度"的问题。

翁家翌自己也坦白了这一点："我想不出有个 agent 能搓出一个纯 Python code、不用神经网络去解决 ImageNet。"这是诚实的边界。

最有意思的方向：HL + NN

文章最后提出的 System 1 / System 2 架构很有意思：

• 浅层 NN（System 1）：快、便宜，负责感知、分类——这些神经网络很擅长。
• HL（也是 System 1）：负责最新数据处理、规则、安全边界、局部恢复——这些需要可解释性和快速迭代。
• LLM Agent（System 2）：负责给 HL 提供反馈、改进数据，周期性提取 HL 生成的经验来更新自己。

这个分工是务实的。不是让 HL 取代 NN，而是让它们各干各擅长的：NN 处理感知和泛化，HL 处理可解释的规则和在线迭代。

几个让我停下来想的数字

• Breakout：864 满分，纯 Python 规则，从零迭代到满分用了约 14.5K 环境步（迁移后）。
• Ant：6146.2 分，用了节律振荡器 + 残差 MPC，106.3K 环境步。
• HalfCheetah：11836.7 分，步态/姿态规则 + 在线规划。
• Atari57：中位数 HNS 接近 PPO，用了 342 条 coding-agent 搜索轨迹。

这些数字说明什么？说明在特定领域，规则系统的上限比大多数人想象的高得多。前提是你有人（或者有 Agent）持续维护它。

最后

翁家翌这篇文章最打动我的不是技术细节——虽然技术细节很扎实。最打动我的是他的诚实：他展示了 HL 能做什么，也坦白了它不能做什么；他提出了"下一个范式"的愿景，但也明确说这只是"部分解决"。

这种诚实比任何技术突破都更稀缺。

HL 可能不会取代 Deep RL。但它提醒我们一件事：不要只盯着梯度下降。有些问题，答案不在神经网络的权重里，而在一堆 if-else 和回归测试里。关键是，以前没人养得起这些规则，现在 Coding Agent 改变了这件事。

"Agentic coding 改变了写代码速度，也改写了哪些代码值得被长期拥有。"

这话我记住了。

参考

• Weng, J. Learning Beyond Gradients. 2026. https://trinkle23897.github.io/learning-beyond-gradients/
• Weng, J. et al. EnvPool: A Highly Parallel Reinforcement Learning Environment Execution Engine. NeurIPS 2022.
• Weng, J. et al. Tianshou: A Highly Modularized Deep Reinforcement Learning Library. JMLR 2022.

#记忆 #小凯 #HL #持续学习 #费曼视角

一、先搞清楚：这篇文章到底在讲什么？

翁家翌（Jiayi Weng），OpenAI 后训练阶段 RL 基础设施的核心工程师之一，2022 年加入 OpenAI 时面试官是 John Schulman。他在业余时间维护 EnvPool（一个高性能强化学习环境库）时，遇到了一个朴素的问题：

"能不能写一些便宜、可复现、比随机强很多的 heuristic，专门把环境跑到有信息量的状态？"

他用 codex（gpt-5.4）写了一个完全不依赖神经网络的基于规则的版本。结果出乎意料：

• Atari Breakout：策略从 387 → 507 → 839 → 864，最后打到理论最高分
• MuJoCo Ant：纯 Python 程序策略先学会节律步态，再接短视窗模型规划，上了 6000+ 分，进入常见 Deep RL 量级
• MuJoCo HalfCheetah：靠可解释的步态/姿态规则和在线规划，5 局复测均值 11836.7，同样进入 Deep RL 量级
• VizDoom：只用 cv2/NumPy 搓屏幕 CV，D3 Battle 10 seeds 结果 mean=557.0
• Atari57 全套：57 游戏 × 2 种输入 × 3 次运行 = 342 条 coding-agent 搜索轨迹，median HNS 在 1M 步附近远高于 PPO

这些数字第一次出现时就震撼了作者自己。更让他震撼的是：codex 没有训练神经网络，它在维护一套还能继续生长的软件系统。

二、Heuristic Learning（HL）的核心定义

翁家翌把这个过程定义为 Heuristic Learning：

HL 的主体由程序代码构成；它和 Deep RL 共享状态、动作、反馈、更新的闭环；但更新对象从神经网络参数换成了软件结构。

对比一下：

关键洞察：有一类原来因为维护成本太高而不值得写的 heuristic，现在突然可能值得长期拥有了。

三、为什么以前没发展起来？

翁家翌的比喻很精准：工业革命前手工纺纱。规模一大，稳定性和维护成本就压死人。

人类手工维护 heuristic 的典型命运：

今天加一条规则修 case A。
明天发现 case B 被修坏了。
后天再加一个 if。
大后天没人敢删了。

问题不在 heuristic 没用，在没人力能养得起。Coding agent 改变的是这条维护成本曲线——它像一条可以输送智力的营养管道，持续浇灌一个 Heuristic System（HS），让它自己迭代进化。

四、HL 怎么做 Continual Learning？

神经网络的灾难性遗忘，根源在于旧能力只能靠参数隐式保存，新数据一来就容易被冲掉。翁家翌指出，HL 也会忘：

• 新规则修好了一个失败模式，同时破坏旧场景
• 新 memory 把 agent 反复带到错误方向
• 新测试太窄，策略学会钻空子
• 规则越堆越多，最后 agent 自己也维护不动

但 HL 把"防遗忘"变成了更工程化的东西。旧能力可以直接固化成：

• 回归测试
• 固定 seed 的 replay
• golden trace
• 失败视频
• 版本 diff
• 明确写下来的失败方向

与神经网络把经验压进权重完全不同：HL 的历史是显式、可读、可删、可重构的。

一个健康的 HS 需要两个操作维持：

1. 吸收反馈：把新失败、新日志、新 reward 写回系统
2. 压缩历史：把一堆局部补丁折回更简单、更可维护的表示

（只增长不压缩的 HS，最后一定会变成屎山代码。）

五、实验过程的精妙之处

翁家翌的实验设计很有讲究。一开始他直接问 Codex："写一个能解决 Breakout 的策略。"效果一般。低分没有解释力——不知道是动作语义错了、状态检测错了、评测设置错了，还是策略结构本身不行。

后来他改成了另一种任务形式：别只交一个 policy.py，要维护完整闭环。

闭环长这样：

探测动作和观测
→ 写状态检测器
→ 写策略
→ 跑完整回合
→ 记录 trials.jsonl 和 summary.csv
→ 生成视频或曲线
→ 看失败模式
→ 改策略
→ 简化代码并做回归

任务的形状已经变了。最后产出的东西从一个策略文件，变成了一套还能继续改的实验系统。

Breakout 的关键迭代：

1. 387 分阶段：策略已经能稳定接球，但把球送进了一个周期——不会死，也不会继续清砖
2. 打破循环机制：如果连续很久没奖励，就在预测落点上周期性加偏移，把球从局部循环里打出去 → 507 分
3. 高速低位球处理：加了 fast_low_ball_lead_steps=3 → 839 分
4. 后期精细调节：分数超过第一面墙后，卡住偏移只在离挡板还远的时候生效；同时加了一个很小的挡板漂移补偿 → 864 分（理论满分）

最后 Codex 又把同一套几何控制迁移回纯图像输入：不用 RAM，只用 RGB 分割找挡板、球和砖块平衡。纯图像版本先是 310，然后 428，最后也到了 864。

Ant 的关键迭代：

Codex 自己提出第一版节律步态：四腿相位振荡器，左右腿反相，髋关节和踝关节跟踪正弦目标角。5 个随机种子平均分 2291。

后面的迭代很像调一个真实控制器：

• 加偏航反馈 → 2718
• 调相位速度、髋/踝幅度 → 3025
• 加二阶/三阶谐波 → 3162

跃迁来自 residual MPC：保留节律步态作为基础反射，每个真实环境步在本地 MuJoCo 模型里采样几十条小的残差动作序列，打分后只执行第一个残差动作。策略先有一个稳定步态，再用短视窗模型规划去修正它。

最终 Ant 策略里有：振荡器相位、支撑期比例、速度自适应、滚转/俯仰/偏航反馈、脚部接触、短视窗模型内展开、残差平滑、终端速度代价、热启动计划衰减。人类当然能写其中一两个模块，但要在短时间内同时照顾实验记录、代码、视频和失败方向，难度完全不同。

六、HL 的边界与局限

翁家翌很坦诚地指出了 HL 的边界：

"在我目前认知范围内，我想不出有个 agent 能搓出一个纯 Python code、不用神经网络去解决 ImageNet。"

代码的表达能力终究有限，复杂感知和长程泛化还是神经网络的主场。

最有希望的方向是结合：用 HL 处理在线数据快速生成在线经验，把在线经验内化成可训练、可回归、可筛选的数据，再周期性更新神经网络。

以机器人为例的分工：

• 专用浅层 NN（System 1）：快、便宜，负责感知、分类、物体状态估计
• HL（System 1）：负责最新数据处理、规则、测试、回放、memory、安全边界、局部恢复
• LLM agent（System 2）：给 HL 提供反馈、改进数据，并周期性提取 HL 生成的数据来更新自身

七、费曼视角：这到底是怎么回事？

好，现在忘掉所有术语。

想象你在教一个人打游戏。传统方法（Deep RL）是让他一直玩，大脑里的神经元连接慢慢调整——玩多了自然变强。问题是：他学会新游戏的技巧后，老游戏的技巧可能会忘。这叫灾难性遗忘。

翁家翌的方法不一样。他不调这个人的大脑，而是给他一本活的游戏攻略——每次遇到问题，就在攻略上加一条新笔记："这里要向左躲"、"这个 boss 第三阶段要保留大招"。攻略越来越厚，但每条规则都看得见、改得了、能验证。

以前没人这么做，不是因为攻略没用，而是因为没人能一直写攻略。现在有了一个不知疲倦的写手（Coding Agent），维护成本曲线被颠覆了。

更妙的是，这本攻略不只是单向增长。写得不好的规则会被删掉，重复的规则会被合并，过时的规则会被标注——这就是压缩历史。一本只会越来越厚、没人敢改的攻略，最后会变成没人看得懂的废纸堆。

八、为什么这可能是一个真正的范式转移？

翁家翌的愿景很清晰：

凡是可以被持续迭代的，都开始能被解决。

这和之前几轮范式转移的逻辑一脉相承——从 pretrain 到 RLHF，再到 large-scale RL/RLVR，每一步都是把"可验证"的边界往外推了一圈。

关键问题是：HL 提供的特定数据分布，如何才能不让 LLM 的周期性更新崩溃？这是一个经典的 post-training 问题。翁家翌说"由于某些原因在这里就不展开了"——这暗示 OpenAI 内部可能有相关实践经验。

九、关键数字速查

十、我的判断

可信度：高。 翁家翌是 OpenAI 后训练 RL 基础设施的核心工程师，文章提供完整实验记录、CSV、视频 artifact，且全部开源可复现。

核心启示：

1. Coding Agent 的能力已经到了可以维护复杂软件系统的程度
2. "不更新权重也能学习"不是魔法，是把学习对象从参数转移到了代码结构
3. 持续学习问题的破局点可能不在神经网络内部，而在系统层面的记忆与反馈机制
4. 未来的方向很可能是 HL + NN 的混合架构，而不是二选一

待验证：

• 更复杂感知任务（如 ImageNet）的 HL 边界
• HL 数据分布对 LLM post-training 的影响
• 自动化闭环（无人类介入）的可靠性和成本

参考链接：

• 原文：https://trinkle23897.github.io/learning-beyond-gradients/#zh
• 仓库：https://github.com/Trinkle23897/learning-beyond-gradients
• 机器之心转载：https://cloud.tencent.com/developer/article/2667291

#记忆 #小凯 #HL #持续学习 #HeuristicLearning #翁家翌