Karpathy Loop：700次实验2天，AI自主研究的范式革命
Karpathy 没见过——因为他睡着了，而他的 AI 正在跑第 347 号实验。
你见过凌晨4点的实验室吗？
Karpathy 没见过——因为他睡着了，而他的 AI 正在跑第 347 号实验。
2026年3月，Andrej Karpathy（前 OpenAI 创始成员、前 Tesla AI 总监）开源了一个 630 行的 Python 脚本。他没有宣传新模型，没有发布新架构，只是放出了一个"让 AI 自己搞研究"的循环。
两天后，这个循环跑了 700 次实验，发现了 20 处连 Karpathy 自己都忽略的改进。训练时间缩短 11%。
Shopify CEO Tobi Lutke 复制了这个流程，一夜 37 次实验，模型性能提升 19%，体积还缩小了一半。
这个被称为 "Karpathy Loop" 的东西，可能是 2026 年最具颠覆性的开源项目——不是因为它发现了什么惊天动地的算法，而是因为它重新定义了"研究"本身。
🔬 什么是 AutoResearch？一个极简循环
Karpathy 的系统简单到令人发指：
# 核心逻辑，伪代码版本
for i in range(700):
code = read("train.py") # 1. 读代码
hypothesis = llm(code) # 2. 形成假设（改什么能提升性能？）
patch = llm(hypothesis) # 3. 修改代码
result = run(patch, timeout=300) # 4. 跑5分钟训练
if result.better_than_best: # 5. 验证指标
keep(patch) # 6a. 更好？保留
else:
discard(patch) # 6b. 更差？回滚
六个步骤。没有人类干预。没有复杂的 orchestration。一个 while 循环，一个判断条件。
三个关键设计选择
为什么这个简单的循环能产生惊人的结果？Karpathy 做了三个反直觉的设计决策：
1. 固定时间预算（5分钟）
每个实验不管改什么，只跑 5 分钟。这保证了结果可直接比较——不存在"再多训一会儿可能就好了"的争论。好就是好坏就是坏，5 分钟见分晓。
2. 单文件范围（只改 train.py）
AI 只能修改训练脚本，不能碰数据管道、不能改 tokenizer、不能重构整个仓库。这个"紧狗链"设计是整个 trick 的核心——约束创造力，反而让探索更有效。
3. 人类写策略，机器执行战术（program.md）
人负责写高层指令（"优化方向是什么""什么不能碰"），AI 负责执行细节（"这个学习率加 0.001 试试"）。Karpathy 形容这个关系：人是研究主管，AI 是整个实验室团队。
📊 结果：20处改进，11%提速
700 次实验不是随机尝试。AI 在形成假设——它读代码、看之前实验的结果、提出有逻辑的修改。
发现的 20 处改进包括：
- 注意力机制中遗漏的标量乘数（导致注意力过度分散到多个头上）
- 学习率调度器的微调
- 批大小和窗口模式的组合优化
- 权重衰减的重新校准
应用到更大的模型（depth 24），训练时间从 2.02 小时降到 1.80 小时——11% 的提速，全部由机器自主发现。
🧠 双层循环：让循环自己优化自己
Karpathy 的原始循环已经很强大了，但有一个根本限制：搜索策略是固定的。AI 基于自身的先验知识提出修改，但如果这个先验本身有偏见呢？
比如，LLM 可能有一种隐性偏见："更大的 batch size 总是更好"。即使当前任务中小 batch 更优，它也会反复尝试增大 batch——陷入自己的思维定势。
这就是 Bilevel Autoresearch（arXiv:2603.23420）要解决的问题。
三层架构
Level 1（内层循环）: 优化任务本身
↓ propose → train → evaluate → keep/discard
Level 1.5（策略调整）: 每5轮调整搜索参数
↓ 冻结无效参数 / 解冻新区域 / 注入引导字符串
Level 2（外层循环）: 每2个周期生成新的搜索机制
↓ 读代码 → 分析瓶颈 → 生成Python机制 → 运行时注入
Level 2 的魔法：4轮对话生成新机制
外层循环不是调参数，而是写代码——用 4 轮 LLM 对话生成可执行的 Python 搜索机制：
1. Explore（探索）：LLM 读取 runner.py 和搜索轨迹，从相邻领域（组合优化、多臂老虎机、实验设计）调研可能的改进机制 2. Critique（批判）：评估候选机制，选择最有希望的一个 3. Specify（规范）：写精确的接口规范——类名、构造函数、方法签名 4. Generate（生成）：写完整的 Python 代码，包括 runner.py 的修改点
生成的代码通过 importlib 动态加载验证。如果导入成功，就替换当前 runner；如果失败，回滚到备份。
生成的机制有哪些？
论文中提到的外层循环自主发现的机制包括：
- Tabu Search（禁忌搜索）：防止重复提议相同的参数组合
- Multi-Armed Bandit（多臂老虎机）：在探索新方向和利用已知好方向之间做权衡
- Orthogonal Exploration（正交探索）：强制同时改变多个独立参数，避免局部最优
结果：5倍提升
在 Karpathy 的 GPT 预训练基准上：
| 配置 | val_bpb 改进 | 相对提升 |
|---|---|---|
| 基线（无自适应） | -0.009 | 1× |
| Level 1.5（参数调整） | -0.009（无可靠增益） | ~1× |
| Level 2（机制生成） | -0.045 | 5× |
🎯 Loop Engineering 的四个前提条件
不是每个任务都值得建一套循环。Codila 提出了"四项全能"适用标准：
1. 任务高频：至少每周重复一次。一次性任务用个好 prompt 就够了，建循环收不回成本。 2. 验证可自动化：不需要人工读取结果、判断好坏。必须有自动化的验证器。 3. Token 预算能消化冗余：循环必然伴随大量失败实验。小预算扛不住。 4. Agent 能访问真实运行环境：不能闭着眼睛盲目迭代，必须有真实的执行和反馈。
四个条件缺一不可，否则成本远超收益。
⚠️ 隐性代价：理解债与认知让渡
Loop 不是银弹。它带来两个深层问题：
1. 理解债（Comprehension Debt）
循环生成的代码不是人工一行行敲出来的。仓库里的代码和开发者真正理解的代码差距越来越大。
"我知道它 work，但不知道为什么 work。"
一旦系统崩溃，Debug 成本极高——你要先理解 AI 写的代码，才能定位问题。
2. 认知让渡（Cognitive Delegation）
循环一旦跑通，人极易停止思考。
同样的工具，两种用法：
- 加速理解："我用循环验证我已经理解的假设"
- 逃避理解："我让循环自己跑，我不管了"
🔮 为什么这是范式革命
Karpathy Loop 的意义不在于"AI 能自动跑实验"。自动化实验早就有了（AutoML、NAS）。
它的革命性在于三个层面：
1. 从"人想机器做"到"机器想机器做"
传统 AutoML：人类设计搜索空间，机器在空间里穷举。
Karpathy Loop：机器自己读代码、形成假设、提出修改。搜索空间不是预先定义的，而是动态生成的。
Karpathy 自己说："神经架构搜索（NAS）和这个相比，完全是另一个类别——弱到无法比较。这是一个真正的 LLM 在写任意代码，从之前的实验中学习，还能访问互联网。"
2. 从"优化参数"到"优化搜索机制"
Bilevel Autoresearch 更进一步：不仅优化任务参数，还优化优化过程本身。
这是元认知（meta-cognition）的雏形——系统开始思考"我是如何思考的"，并改进自己的思考方式。
3. 从"研究者时间"到"验证器设计"
Karpathy Loop 让瓶颈发生了转移：
- 以前：研究者时间是瓶颈。一天跑 3-5 个实验，小心翼翼设计每个实验。
- 现在：验证器设计是瓶颈。一夜 100 个实验，但如果你优化错了指标，就是在加速错误方向。
"昂贵的错误不再是'我们没跑够实验'，而是'我们优化错了记分牌'。"
💡 日常 Coding 能用吗？
这是很多人关心的问题。答案取决于你的"验证"能否自动化。
适合的场景：
- 有明确测试套件的代码库（测试通过/失败 = 自动验证）
- 有明确性能指标的系统（延迟、吞吐量、内存占用）
- 有 linter/formatter 约束的代码风格统一
- 需求模糊的探索性开发
- 需要人类审美判断的 UI/UX 调整
- 没有自动化测试的遗留代码
如果能，你就可以 Karpathy Loop。
📝 结语
Karpathy Loop 和 Bilevel Autoresearch 揭示了一个趋势：AI 正在从"工具"变成"同事"——不是执行你命令的工具，而是有自己研究议程、能从失败中学习、能改进自己工作方式的合作伙伴。
但这也提出了一个深刻的问题：
当 AI 一天能做 700 个实验、发现 20 处你忽略的改进时，研究者的价值在哪里？
答案可能是：研究者的价值从"做实验"转移到了"设计验证器"和"提出好问题"。机器负责穷举，人类负责定义什么值得穷举。
毕竟，一个能一夜跑 700 次实验的系统，如果优化的是错误的指标，只是更快地走向错误答案。
方向永远比速度重要。而方向，仍需要人来把握。
参考资源
- Karpathy AutoResearch: https://github.com/karpathy/autoresearch
- Bilevel Autoresearch 论文: https://arxiv.org/abs/2603.23420
- Bilevel Autoresearch 代码: https://github.com/EdwardOptimization/Bilevel-Autoresearch
- Shopify CEO 实验: https://x.com/tobi/status/（相关推文）
*本文同步发布于 智柴外脑*
#KarpathyLoop #AutoResearch #BilevelAutoresearch #AI研究 #自动化实验 #LoopEngineering #小凯