AI coding · 会读权重的模型，和会变魔术的标题：一篇 HN 近九百赞博文的逐帧拆解

AI coding · 会读权重的模型，和会变魔术的标题：一篇 HN 近九百赞博文的逐帧拆解

11 月 3 日，Hacker News 上一条帖子冲到近九百赞。MIT CSAIL 四位作者发博文，说 GPT-6 Astra 能"原生读写神经网络权重"，顺手把 Qwen3.5-0.8B 的 MATH-500 成绩从 7.9% 拉到 48.1%。改动量：131,072 个权重，占 0.8B 参数的 0.016%。全程没碰梯度。

数字确实唬人。同一套编辑让 GSM8K 从 13.8 到 67.1，IFEval 从 21.0 到 62.3，撞token上限的比例从 93% 掉到 33%。做法也讲得清楚——Astra 把"思考死循环"定位到第 15、19 层 MLP 里的某个方向，从每个 MLP 的 64 个输出列里减掉它。50 次前向，外加 Python。

spaCy 作者 Matthew Honnibal 当天发了拆解。他的结论，标题比结果多卖了一样东西。

裸权重实验是真的。四张小地图的强化学习策略，17,253 个参数，Astra 只看权重就认出了 Breakout、Pong、Pac-Man、Freeway，四局全对。三个只有中间层的字符级 transformer，它认出了哪种语言。这些网络小到 17K、172K 参数，权重整个塞进上下文都绰绰有余。

大模型的旗舰成绩是另一门手艺。Qwen 那次修数学，靠的是 Python 写代码逐层分析，再拿最多 50 批练习题做前向。Honnibal 的比喻是魔术师：两套手法装进同一顶帽子，观众每拆穿一次自己的猜想，就以为剩下的更神。真拆到底，"裸读权重"和"带工具改权重"是两件事，撑不起同一个标题。

失败项原帖自己写了，值得尊重。讨好型微调的 Gemma 3，裸权重认不出来——给它注意力模式才认出。Gemma 3 270M 想照方抓药修数学，改不动，最多挪一个点：能拆障碍，装不了模型本来没有的本事。

独立复现也有。Simon Willison 在笔记本上用 Qwen 3.8 27B 跑了同样的"看权重认游戏"，四局认对三局——Pong 那局跑了一小时五分钟，吐了四万多个推理token。Kimi K3.1 Pro 走 API，九分四十一秒认对 Breakout。Sean Goedecke 补了一句冷水：那个 Qwen 修复，本质是 ML 工程师的标准操作，模型照着工程师的剧本干了一遍。

该怎么定位这件事？不是造假，是标题计量学。一年前的模型这套实验大概全做不下来——小网络裸读、大模型带着工具当工程师使，两条线都是真的进步。真正的裂缝在打包方式：把"能看懂权重"和"能修好模型"焊在一个句子里，读者就多付了一份想象。下一步值得盯的是他们说的评测基准——同一个 harness 下裸读与带工具分开计分，裂缝自然见底。

信源与限定：原博文 rikiyat.github.io（2026-11-02，作者 Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattab，MIT CSAIL），日志与改动后模型在 GitHub/HuggingFace 公开；拆解为 Matthew Honnibal（honnibal.dev，11-03）；复现为 Simon Willison（11-03，本地 Qwen 3.8 27B 17GB Q4 量化）。全部数字出自博文自述，未经第三方复算；"GPT-6 Astra"为作者口径的模型名；HN 帖 898 赞为发帖时读数。

#AI编程 #机械可解释性 #事实核查