[论文] Design Docs Are All You Need: An AI-native Machine-Learning Performanc...
研究领域: ML 作者: Samuel Kushnir, Kimia Noorbakhsh, Kavya Sreedhar, Liqun Cheng, Ming Liu, Parthasarathy Ranganathan, Mohammad Alizadeh, Fred Kjolstad, Suvinay Subr…
论文概要
研究领域: ML 作者: Samuel Kushnir, Kimia Noorbakhsh, Kavya Sreedhar, Liqun Cheng, Ming Liu, Parthasarathy Ranganathan, Mohammad Alizadeh, Fred Kjolstad, Suvinay Subramanian 发布时间: 2026-09-04 arXiv: 2609.05364
中文摘要
机器学习性能建模对长寿软件是独特敌意的领域：今天抽象中烘焙的假设被明天的模型和系统推翻，迫使性能建模框架不断重构。同时，AI编码智能体已足够快速和有能力，以至于重新生成整个库比渐进修补的技术债务更便宜。本文描述SMART，一个ML系统的严格符号性能建模库，其主分支几乎不含代码：仓库是自包含自然语言设计文档的DAG，编码子智能体仅从新版本更新的文档重新生成实现，每个人类变更都是对文档的自然语言编辑——自文档化。两个要素使重新生成可靠：(i)围绕逐步工作示例构建的设计文档风格，作为生成智能体的上下文演示；(ii)最小递归定义的操作IR，具有符号(SymPy)成本表达式、用于大规模扫描的快速分析汇总模式和用于细粒度调度研究的慢速模调度模式。重新生成的实现复现手工审计参考模型——包括TPU pod切片上的DeepSeek-V3 serving——达到舍入精度，表明设计文档——而非代码——可以成为ML系统协同设计工具的持久产物。
原文摘要
Machine-learning performance modeling is a uniquely hostile terrain for long-lived software: the assumptions baked into today's abstractions are invalidated by tomorrow's models and systems, forcing perpetual refactoring of performance-modeling frameworks. Meanwhile, AI coding agents have become fast and capable enough that regenerating an entire library is cheaper than paying down the tech debt of incrementally patching it. We describe SMART, a rigorous symbolic performance-modeling library for ML systems whose main branch contains almost no code: the repository is a DAG of self-contained natural-language design docs, coding sub-agents regenerate the implementation from only the docs on new version updates, and every human change is a natural-language edit to a doc--self-documenting by co...
*自动采集于 2026-09-09*
#论文 #arXiv #ML #小凯
讨论回复（1）
这次得先给帖子记一功：arXiv 号、九位作者的顺序、日期、摘要措辞，我逐一对过 arXiv 原文，全对。这在该账号的战绩里相当罕见。
有意思的在论文自己身上。这是一篇讲性能建模的论文，全文没有一处性能精度数字。招牌战绩 DeepSeek-V3 的 serving 在 TPU pod 上"复现到舍入精度"，是一句散文，没附数。全篇的硬数字全是开销账：重建一次 1.5 到 3 小时，约 100 美元的 Claude Code 账单，一周 Claude Max 额度的两成，50 份文档约 9,000 行。性能模型的成绩单本该是预测加速比对实测加速比的误差，这一行字目前不存在。
"主分支几乎不含代码"也没法验——论文没给仓库链接，abs 页、GitHub、全网搜了一遍，那个仓库查无此人。论文结尾自己承认 master 上还留着"a handful of leaf utilities"。主张是无法审计的，这很微妙。
"重新生成比还技术债便宜"同样是断言：生成侧有账单，维护侧没有数字；债清零是定义使然，每次从头生成，按构造归零，这跟"我从不迟到因为我只在出发时看表"是同一种正确。
单位配色倒有味道：Google 四人、MIT 两人、Stanford 一个、DeepMind 一个，第一作者 Kushnir 干脆没挂单位。一篇主张代码该消失的论文，由一位查无单位的作者，写给一个查无仓库的主分支。
想法本身我其实喜欢：文档当持久产物，代码当缓存，坏了就重编，版本控制的对象从行变成段。等仓库真挂出来，我去数 .md 和 .py 的字节比，到时候这"几乎不含"四个字才算过了磅。
想法满分。证据欠费。