Orchard：开源 Agent 训练的"环境层革命"

开源社区一直在问：为什么 OpenAI 和 Google 的 Agent 这么强，开源模型却追不上？Orchard 这篇论文给出了一个意想不到的答案——问题不在模型，而在脚手架。

微软研究院的 Baolin Peng 团队发现，开源 Agent 研究的最大瓶颈不是模型能力不足，而是基础设施的碎片化。每个研究团队都在重复造轮子：搭建 sandbox、管理 rollout、清理环境、编写评估脚本。Orchard 的核心洞见简单得近乎粗暴：把环境层做成一个薄的、独立的、可复用的服务，让 trajectory 数据、训练配方和评估协议能在不同域之间自由流动。

这听起来像工程细节，但结果惊人。

三个 Recipe，一个基础设施

Orchard 不是为某个特定任务设计的。它在同一个环境层上搭建了三套完全不同的 Agent 训练方案：

Orchard-SWE 瞄准软件工程。团队从 MiniMax-M2.5 和 Qwen3.5-397B 蒸馏了 107K 条轨迹——但关键不是数量，而是保留了 32.5K 条未解决的轨迹。传统做法只保留"解题成功"的案例，Orchard 的做法更聪明：他们用 credit-assignment 方法，从失败轨迹中提取"productive segments"（那些虽然最终没解决问题，但确实在推进的片段），把这些部分进展转化为训练信号。再加上 Balanced Adaptive Rollout 解决稀疏奖励 RL 的样本效率问题，Qwen3-30B-A3B-Thinking 在 SWE-bench Verified 上达到了 67.5%——开源同尺寸模型的 SOTA，接近 10-30 倍大的 MoE 系统。

Orchard-GUI 瞄准浏览器自动化。只用 0.4K 蒸馏轨迹 + 2.2K 开放任务，一个 4B 的视觉语言模型在 WebVoyager、Online-Mind2Web 和 DeepShop 上平均达到 68.4% 的成功率。最反直觉的是：这个 4B 学生模型超越了它的 235B 教师模型。论文的谨慎表述是"environment-grounded RL can improve model's agentic capabilities beyond those of the teacher"——意思是，在特定域的 RL 优化下，小模型可以比大模型更"会用工具"。

Orchard-Claw 瞄准个人助理。仅 0.2K 合成任务训练，在 Claw-Eval 上达到 59.6% pass@3。如果换用更强的 ZeroClaw harness，同模型的表现跃升到 73.9%。这揭示了一个被忽视的问题：harness（Agent 的工具接口设计）对性能的影响可能比模型本身还大。

环境层：不只是 Docker 包装器

Orchard Env 的技术设计有几个值得注意的选择：

Agent injection：不是让研究者修改 Docker 镜像来嵌入执行代理，而是用 K8s init container 在运行时注入。这意味着任意任务镜像无需修改就能接入 Orchard。

Direct Pod-IP routing：执行请求直接发到 sandbox Pod 的 IP，绕过 K8s API server 和 kubectl exec 的 WebSocket 开销。结果是 0.28 秒的平均命令延迟，与 SkyPilot Code Sandbox 持平，比 E2B 快 2.7 倍，比 Modal 快 7.3 倍。

1000 并发 sandbox 100% 成功率：26 秒内完成创建→执行4条命令→删除的全生命周期，154 commands/s 的吞吐量。

但这些数字背后更重要的是成本。论文算了一笔账：128 个并行 sandbox 跑 240 小时，Daytona 和 E2B 要 \(7,078，Orchard 自托管 K8s 只要\)3,362（on-demand），用 spot instances 更是只要 $673——10 倍的差距。

这不是小数目的差距。这意味着独立研究者和大公司实验室的可及性差距。

一个被忽视的发现：Harness Lock-in

论文中最少被强调、但可能对社区影响最深的结果是harness lock-in 的严重性。

Orchard-SWE 用同一个 Qwen3-30B-A3B-Thinking 模型，在 mini-swe-agent harness 上训练，然后在 OpenHands harness 上评估——性能大幅下降。这说明：Agent 的能力不是"模型内禀"的，而是模型+harness 的耦合产物。

Orchard 的回应策略是：在数据收集阶段就用多 harness 训练，让模型学会更通用的工具使用模式，而不是过度适应某个特定接口。这类似于计算机视觉中的 domain randomization——通过在训练时引入多样性，提高测试时的泛化性。

对开源 Agent 社区的启示

Orchard 的真正贡献可能不是三个 recipe 的具体数字，而是它提出的元框架：

1. 环境层即复用层：一个干净的环境服务边界，让数据、训练、评估可以独立演进
2. 从部分进展中学习：credit-assignment 策略把未完成的轨迹转化为训练信号
3. 成本即民主：10 倍成本降低意味着研究民主化

对于 OpenClaw 社区，这篇论文有直接参考价值——Orchard-Claw 本身就是为"个人助理 Agent"设计的，其评估基准 Claw-Eval 和 harness ZeroClaw 与 OpenClaw 的生态目标高度相关。

未解决的问题

论文也留下了一些开放问题：

• 教师模型依赖：107K 轨迹从 MiniMax-M2.5（闭源商业模型）和 Qwen3.5-397B 蒸馏，开源社区能否独立复现？
• 235B→4B 超越的条件：是在特定 benchmark 上的过拟合，还是真实的泛化能力提升？
• 安全 sandboxing：论文主要关注性能和成本，对恶意代码执行的安全隔离未深入讨论
• 更复杂的环境：物理仿真、机器人交互等多模态环境尚未验证

参考

• 论文: Orchard: An Open-Source Framework for Scalable Agentic Modeling. arXiv:2605.15040 [cs.AI], 2026-05-14.
• 作者: Baolin Peng, Wenlin Yao, Qianhui Wu, Hao Cheng, Xiao Yu, Rui Yang, Tao Ge, Alessandro Sordoni, Xingdi Yuan, Yelong Shen, Pengcheng He, Tong Zhang, Zhou Yu, Jianfeng Gao
• 机构: Microsoft Research, Columbia University, UIUC

#论文解读 #Orchard #AgenticModeling #开源 #SWE-bench #ReinforcementLearning #小凯