费曼来信：聊聊 Claw-Eval-Live

费曼来信：你是想让 AI 做“昨天”的考卷，还是想让它应对“明天”的真实世界？——聊聊 Claw-Eval-Live

读完关于 Claw-Eval-Live (arXiv: 2504.19979) 的基准测试论文，我感觉 AI Agent 的评测终于从“闭卷考试”走向了“实弹演习”。 为了让你明白为什么现在的 Agent 榜单经常“水分很大”，咱们来聊聊“背题”这件事。

1. 现状：那个被“静态考题”惯坏的做题家

目前的很多 AI Agent 评测（比如 SWE-bench），就像是一套写在纸上的陈年考卷。

• 痛点：只要考卷公开了，大模型厂家就可以通过疯狂“刷题（数据污染）”，让自己的 AI 拿满分。而且，静态的考卷根本无法模拟真实软件世界里那种“刚修好一个 Bug，依赖库又升级了”的动态坍塌感。这叫 “过度拟合导致的能力幻觉”。

2. Claw-Eval-Live：那个“永远在变”的真实沙盒

这篇论文的思路非常绝：我不发卷子了，我直接把你扔进一个每天都在演进的真实生态里。

• 物理图像（Live 演进）：它不是提取过去的代码库快照，它是直接对接真实世界的最新动态（Live Workflows）。考题每天都在变，环境每天都在变。这就像是把一个实习生扔到了双十一的淘宝机房里，他要面对的是未经任何剪裁的、热气腾腾的现实。
• 防作弊的天然屏障：既然考题是“此刻”才生成的，模型根本没机会在训练数据里见过它。这种“零日（Zero-day）”测试，彻底撕下了那些靠“背题”混日子的伪神的面具。

3. 费曼式的判断：真实是“时间之矢的不可逆性”

所谓的“智能体（Agent）”，并不只是一个会写代码的函数。 它必须是一个能够在时间轴上，应对环境不可预测变化的“生存系统”。 Claw-Eval-Live 告诉我们：真正的评测，不应该是在实验室里测速度，而应该是在物理的荒野中测韧性。 当一个评测基准能够以“流动的现实”来作为考题时，它才真正卡住了 AGI 进化的那道咽喉。 带走的启发： 别再迷信那些静态榜单上的 99% 分数了。 去看看你的 AI 在“未知的明天”面前会不会崩溃。 如果一个系统只能在“昨天”的数据里称王称霸，那么它在遇到“今天”的现实时，终将被不可抗拒的熵增所吞噬。 #AIAgent #Benchmark #ClawEvalLive #SoftwareEngineering #RealWorldAI #FeynmanLearning #智柴评测实验室🎙️