程序知识并非低秩？——墨尔本大学论文拆解
> 一句话定调：此文确凿处，在于用干净实验证明「朴素 uniform LoRA 在多步流程上远不及全参微调」；其夸处，在于把这一经验负结果上升为「程序知识根本性非低秩」的定理式断言。吾等宜信其行为发现，慎对其标题主张。
---
一、此文何物
- 题：*Procedural Knowledge Is Not Low-Rank: Why LoRA Fails to Internalize Multi-Step Procedures*
- 作者：Simon Dennis, Kevin Shabahang, Hao Guo, Rivaan Patil（墨尔本大学）
- 编号：arXiv:2607.21612（v1，14 页，2026-07 新提交）
- 核心提问：LoRA 之类参数高效微调（PEFT）已成微调默认手段，在指令遵循、风格迁移、事实适应上屡试屡验。然则，对于「过程性知识」——即沿条件分支、多步走到终止态之能力——LoRA 是否仍能与全参微调（Full FT）比肩？
二、费曼直觉：何谓「低秩」，何谓「过程性知识」
- 全参微调，好比把整本菜谱重抄一遍——每道工序、每种火候皆重写于肌肉记忆。
- LoRA，则只在书页边批注两行小注（ΔW = B·A，秩 r 极小），指望这两行注能改尽全书之味。
- 指令遵循、风格迁移，是「局部、平滑」之味——两行注足矣。
- 过程性知识，是「先择路、再依前情决下一步、循环往复至终局」之舞——此舞跨全书、相依相生，非两行注可尽述。
---
三、实验说了什么（关键数字）
任务三域：Travel booking（14 节点）、Zoom support（14 节点）、Insurance claims（55 节点，复杂度近四倍）。模型：Qwen2.5-3B / Qwen3-8B。评分：Claude Sonnet 4.5 主裁 + GPT-4.1 复评（双 judge）。
| 指标 | LoRA（r=16–128） | 全参微调 | 显著性 | ||
|---|---|---|---|---|---|
| Task Success（任务成功率，满分 5） | ≤ 2.54 | 4.11 | p<0.001， | d | >1.9 |
| 对话完成率 | 95.5–99.0% | 100% | — | ||
| 跨域落差（r=32/128 均值） | 落后 0.8–2.2 分 | — | Insurance 差距最大 |
---
四、三路 PK（整合三 Agent 之见）
视角甲·机制：为何低秩瓶破于过程知识
- 完成率量 token 表层分布，成功率量状态→动作映射——二者解耦。低秩 B·A 足以记高频 n-gram 与模板话语，却难编码隐状态空间中之条件转移（有效秩 888+）。
- 高秩退化之根：决策树稀疏、局部、条件性（86–2381 条路径、嵌套循环）；低秩空间只表达平滑、全局相关之扰动。r 增大，容量挥霍于拟合某条路径之具体措辞，过拟合表面而非抽象转移规则。
- MLP 为真瓶颈：状态→动作映射寄于 MLP，其有效秩最高（down_proj 1872）、容量缺口最大；K/V 看似「适配」纯因 GQA 把其最大秩压至数百，乃维度假象，非 K/V 承载程序知识。
视角乙·审稿：标题过勇，机制引申过度
行为结果可信（系统消融 + 跨域复现 + 双 judge，Pith 评为 *clean, practical negative result*），然其边界分明：
- 仅测 uniform-rank 朴素 LoRA；heterogeneous-rank（AdaLoRA 类）未测。
- 标题「非低秩 / 根本性」超实证。SVD 之 load-bearing 假设：以全 FT 的 ΔW 为 LoRA 必逼近之「正解」；然 Eckart–Young 仅约束「对那个特定 ΔW」之上界，不证「不存在能复现行为之低秩更新」。论文 Limitations 自承此限。
- 自由/隐藏参数：α=2r、LR 2e-4 vs 2e-5（LoRA 获 10× 且未逐秩调优）、effective rank 阈值从未定义。
- 裁判为 LLM，无人类验证；仅 Qwen 一族、仅三客服域。
- 未排除之变体：AdaLoRA/异构秩、LoRA+、DoRA、VeRA、QLoRA、per-rank 调优——任一在 r≤128 逼近全 FT，即反驳「结构性不可行」。
视角丙·架构：告别表面流畅，当如何
- 「表面流畅」之陷阱：当前主流 Agent（LoRA 基座 + 外部 prompt/tool 编排）把流程正确性托于提示与调度；凡须模型内化条件分支与跨轮状态者，LoRA 秩限 128 仅捕 43–51% 能量，必走错路。失败模式一一对应：幻觉步骤 ↔ 过拟合会话模式；丢状态 ↔ 后期轮次状态损失回升；无限循环 ↔ MLP 有效秩 1872 仅覆 7–13%。
- 务实权衡：流程多步、含条件分支、依赖跨轮状态者（节点≥14、分支密），核心模型宜上 Full FT（3B 单卡可跑，8B 需 A100×1–2；一次训练、权重级「编译」，推理成本较编排式 Agent 低两数量级）。纯指令/风格/单轮检索，或算力受限者，续用 LoRA + 外置状态机。
- 评价指标：弃「对话完成率」此误导代理，改追 terminal-state reach rate、branch coverage、state-tracking accuracy、step-level correctness。
- 落地五则：① 路由-生成解耦（小 fully-FT 模型司状态与路由，LoRA 司文风）；② 状态机外置（流程写成显式图/DSL，模型输出意图非直接执行）；③ 小模型专门化（流程型上全 FT，对话型用 LoRA）；④ 条件分支回归测试（部署前 LLM-as-user 模拟多轮，失败即阻断）；⑤ 锁版本、记训练拓扑。
五、拍板结论（步子哥之判）
1. 信其行为，疑其标题。 此文最大价值，是给了「朴素 uniform LoRA 在多步流程上系统性逊于全 FT」一记干净、可复现的经验铁证，并精确定位失败于「行为层而非损失层」。此发现当被采纳。 2. 勿奉为铁律。 「程序知识非低秩 / 根本性限制」之断言，证据不足；异构秩变体、DoRA 等仍可能翻盘。引用时作「经验负结果」，不作「表征不可能」。 3. 对吾等 Agent 架构之诫：凡核心工作流须「走对路」者，不可把正确性压在朴素 LoRA 之权重上；或上全 FT，或将路由/状态外置。以「对话流畅」自欺，乃此文所揭之最大陷阱。 4. 评测须改弦：以终止态到达率、分支覆盖、跨轮状态准确，替「没崩就算成」之完成率。
---
附·关键数字速查
- arXiv:2607.21612 ｜ 墨尔本大学 ｜ 14 页 ｜ 2026-07 新提交
- Task Success：LoRA ≤2.54 vs Full FT 4.11（p<0.001）
- 对话完成率：LoRA 95.5–99.0% vs 100%
- 有效秩：Travel 888 / Zoom 761 / Insurance 1026（MLP down_proj 达 1872）
- r=128 捕获能量：42.5% / 50.8% / 43.0%（仅 43–51%）
- 跨域落差：0.8–2.2 分，Insurance 最大