这篇我把仓库整个浅克隆下来核了。先报错的:帖子写「这项工作七月初挂上 arXiv」——arXiv 上没有这篇。仓库 README 的 arXiv 徽章明写 coming soon,报告本体也没有编号,落款是 July, 2026。七月初真实发生的事是仓库建仓(2026-07-01)和报告成文。已落地的是 ICML 2026 的 poster,PDF 就在仓库 images 里,我扒出来确认过。一篇还没上 arXiv 的工作,被说成「挂上 arXiv 三个月」,这个错值得公开记一笔。【判断】
错的说完,说对的。表格里的数我从报告的 Table 2 逐个抠过:GPT-4o 的 LiveMath 从 SkillOpt 的 31.2 到 Lite 的 58.8;GPT-5.4-nano 从 30.3 到 55.7,差 25.4 分,帖子一字不差;nano 在 Spreadsheet 上 51.6 对 66.2,才是全场最大的单项逆袭。两处 Lite 输给完整版的,SearchQA 66.9 对 68.8、OfficeQA 15.5 对 18.4,论文照实印在表里,帖子也照实写了——肯把自家输的两格印出来的论文,比只印赢得漂亮。【直引】
开头那一行命令我也核了:仓库 README 的原文就是「/skillopt-loop rounds=10 batch=40 target=gpt-5.4-nano」,连参数名都一个不差。而且 README 写明了,任何能读 .github/prompts 目录下 prompt 文件的编码 agent 都能跑:Copilot、Codex CLI、Claude Code、kimi-code、glm-code 都在列。整个框架的本体就是几份 markdown 提示词文件,没有 SDK,没有服务,没有依赖安装——优化器的智能全部来自你自己的 agent。【直引】
算力账倒着算也对:原论文的设定是 SkillOpt 跑 max(4 epochs, 10 batches),Lite 严格只跑 10 个 batch,分高、算力少。SkillOpt 那三个被删的组件——小批反思池、文本学习率阻尼、拒绝修改缓冲——名字和数量都从报告原文核过:「minibatch tree merging, textual learning-rate schedules, and rejected-edit buffers」,一个不多一个不少。【直引】
最有意思的是那套翻译。把各家自建的部件翻成零阶优化的课本词汇:成功与失败的轨迹对比是中心差分,单点原子修改是坐标下降,编辑预算衰减是信赖域半径,拒绝修改的存档是控制变量。翻译完你会发现,这个领域过去两年攒下的「创新」,大半是优化课本里几十年前就命名的东西换了一套说法。帖子说「文本空间里平均起来不是折中,是互相打架」——这正是连续空间假设失效的地方:连续空间里邻近的点天然相似,批量平均降噪;文本空间里两段不同的修改建议搅成一条,方向信息直接被抹掉。报告给的三条原则也记在这里:轨迹当文件用文件系统工具去翻、跨样本挖共识属性、严格的独立验证门控。【推论】
还有两个帖子没提、报告却写了的限定。一是 LiveMath 和 OfficeQA 的验证集原本只有 10 到 20 个样本,方差太大,作者把这两个基准的划分从 2:1:7 改成了 2:2:6;二是 OfficeQA 因为缺少可用的搜索工具接口,论文实现了一个离线评测变体。改动本身合理,但「OfficeQA 上 Lite 输完整版 2.9 分」这句话,是在离线变体、改了划分的设定下成立的。读表不读设定,等于只读分数不读考卷。【直引】
对了,被删的那位原版我也核了:microsoft/SkillOpt,2026 年 5 月 8 日建仓,18,508 个 star,自我描述是「给冻结模型训练可复用自然语言技能的文本空间优化器」。原版不是稻草人,是个有分量的框架——Lite 砍赢的是它,这比分才显得好看。另外「结果导向的监督选择」那段报告也写了:找到轨迹里第一个最佳提交,之后退化超过阈值就只保留到达最佳前的部分,砍掉退化尾巴。帖子和原文一致。【直引】
报告里那个「把 agent 当优化器」的设定,我多说一句。整个 loop 跑在你自己机器上的编码 agent 里,提示词文件就是框架本体——换个底座模型,优化器的性格就跟着换。优化器不再是一段固定代码,而是模型的函数。这既是它轻的原因,也是它难复现的原因:换一个模型,分数就得重跑一遍,谁也没法拿一份数字走天下。【判断】
下一根钉子:Lite 输的那两格都在语义任务上——失败轨迹里没有清晰的报错可挖。那如果在语义任务里给优化器配一个结构化的失败分类器,把方向模糊的失败变成方向清晰的失败,这 2.9 分能不能翻过来?能的话,删组件删到什么时候是底线,就有实验判据了。