当 LLM 不会修振动发电机：VEHBench 揭示工程设计的"阶段依赖性"
一个 LLM 能帮你设计振动能量收集器（VEH）——选材料、定尺寸、调电路、验证约束。听起来很美好。但如果你在设计的不同阶段问它，它可能表现得像两个完全不同的模型。
这就是 VEHBench 的核心发现：LLM 的工程能力是阶段依赖的，没有哪个模型能从头到尾都强。
为什么是振动能量收集器？
无电池物联网（Battery-free IoT）是一个正在兴起的领域——传感器不从电池取电，而是从环境振动中"捡"能量。振动能量收集器（VEH）就是干这个的：把桥梁的振动、机器的抖动、甚至人体运动的节律转化成微瓦级的电能。
VEH 设计是一个典型的耦合物理问题：结构参数（梁的长度、厚度、材料）和电气参数（电阻、电容、机电耦合）互相影响。加大梁可以降低谐振频率，但也会增加应力和质量；优化电阻可以提高功率输出，但可能偏离最佳工作点。这不是一个单目标优化问题，而是一个多约束、多目标的迭代设计过程。
VEHBench 的作者选择 VEH 作为测试领域不是随意的。它有一个关键优势：可以用解析公式做精确验证。不需要跑有限元仿真（慢且贵），用一个数学公式就能判断设计是否可行、性能如何。这让大规模自动化评测成为可能——763 个任务，每个都能秒级评分。
四个设计阶段，四种能力
VEHBench 的核心创新不是"又造了一个 benchmark"，而是把工程设计工作流拆成四个阶段，每个阶段评估不同的能力：
P1 - 规格分类（Specification Triage）：拿到设计需求，判断"这个活能不能接"。需求可能不完整、可能矛盾、可能超出可行域。模型需要决定：直接提方案、要求补充信息、还是拒绝。这测的是行动纪律——不是"能不能做"，而是"该不该做"。
P2 - 验证器引导搜索（Verifier-Guided Search）：给一个初始设计和物理反馈，让模型做有界修改。关键约束是"有界"——不能推倒重来，只能在现有基础上调整。这测的是反馈条件化——能否根据物理验证器的反馈做精准调整，而不是瞎改。
P3 - 损坏状态恢复（Corrupted-State Recovery）：设计历史被污染了——之前的修改把设计带到了错误方向。模型需要识别"当前状态不可信"，然后重置、重新锚定、或稳定下来。这测的是状态恢复——能否从错误轨迹中爬出来，而不是继续错下去。
P4 - 策略条件选择（Policy-Conditioned Selection）：已经有多个可行方案了，根据明确的策略（"优先功率"还是"优先带宽"）做选择。这测的是策略执行——能否按既定规则做决策，而不是按自己的偏好。
核心发现：阶段边界改变一切
VEHBench 的实验结果可以用一句话概括：在 P1 上最强的模型，在 P2 上可能垫底。
这不是"不同模型擅长不同任务"那么简单——这是"同一个模型在不同设计阶段的行为模式完全不同"。响应控制配置文件（response-control profiles）揭示了原因：不同阶段对模型行为的要求是矛盾的。
P1 要求克制——不该提方案时别提。P2 要求精准——改多了改少了都不行。P3 要求警觉——识别"当前状态不可信"需要元认知能力。P4 要求纪律——即使有"更好"的方案，如果不符合策略也不能选。
一个在 P1 上表现克制的模型，可能在 P2 上因为太保守而不敢做必要的修改。一个在 P2 上搜索能力强的模型，可能在 P3 上因为"搜索惯性"而无法从错误轨迹中恢复。一个在 P4 上选择准确的模型，可能在 P1 上因为过度自信而接了不该接的活。
这为什么比"最终产物评估"深刻？
传统的工程 benchmark 只看最终产物：模型生成的设计是否满足约束？性能如何？这种评估方式的问题在于：它把整个设计过程当成黑箱。
但工程设计不是黑箱。一个 LLM 可能最终产物是对的，但过程中犯了所有能犯的错——瞎猜、乱改、走错方向后碰巧回来。另一个 LLM 可能最终产物差一点，但过程完全合理——每一步都有依据，每次修改都基于反馈。
VEHBench 的阶段评估让这两种情况可以区分。更重要的是，它为模型路由提供了依据：如果 P1 用模型 A、P2 用模型 B、P3 用模型 C、P4 用模型 D，整体效果可能比从头到尾用"最强"模型更好。
这和软件工程中的"微服务"思想异曲同工：不是找一个"全能"服务，而是让每个服务做它最擅长的事。VEHBench 把这个思路搬到了工程设计工作流上。
工程原生 vs 通用 benchmark
VEHBench 和通用 LLM benchmark（MMLU、HumanEval、GSM8K）有本质区别。通用 benchmark 测的是"模型知道什么"，VEHBench 测的是"模型在工程工作流中怎么用知识"。
这种区别在实践中很重要。一个在 MMLU 上得分很高的模型，可能在工程设计中表现糟糕——因为它擅长回答问题，但不擅长在约束下做迭代决策。反过来，一个在通用 benchmark 上排名不高的模型，可能在某个设计阶段表现出色——因为它的行为模式恰好匹配那个阶段的需求。
VEHBench 的 763 个任务全部来自文献中的真实 VEH 设计案例，用解析物理 oracle 评分，不需要人类标注或 LLM-as-judge。这避免了两个常见陷阱：人类标注的偏差和 LLM 自评的循环论证。代价是领域窄——只能评 VEH 设计，不能泛化到其他工程领域。但作者明确表示 VEHBench 是一个"脚手架"——同样的框架可以扩展到其他有解析验证器的耦合物理设计领域。
对 AI 工程的启示
1. "最强模型"在工程场景中是一个误导性概念。 阶段依赖性意味着模型选择应该是阶段感知的——根据当前设计阶段选模型，而不是全局选一个"最好"的。
2. 工作流设计比模型选择更重要。 如果四个阶段用四个模型的效果最好，那工程系统的核心挑战从"找最强模型"变成了"设计好的工作流编排"——什么时候用什么模型、怎么传递状态、怎么处理阶段间的信任边界。
3. 验证器是关键基础设施。 VEHBench 的四个阶段中有三个（P2、P3、P4）依赖外部验证器提供反馈。没有可靠的验证器，阶段感知评估就无法实施。这和 AI agent 工程中的"verifier-grounded"趋势一致——模型需要外部现实来锚定，不能只靠自己的判断。
更大的图景：从"模型能力"到"工作流能力"
VEHBench 代表了 AI 评测的一个方向转变：从评估"模型在任务上的能力"到评估"模型在工作流中的行为"。
这和最近的一系列研究趋势一致——从端到端评估转向过程评估、从单一指标转向多维诊断、从静态测试转向动态交互。VEHBench 的贡献是把这种转变具体化到了工程设计领域，用四个阶段角色提供了一个可操作的评估框架。
当 LLM 越来越多地被部署到真实工程流程中——不只是写代码、写文档，而是参与物理设计决策——我们需要的不只是"它能不能做"，而是"它在每个环节做得怎么样"。VEHBench 给出了一个答案：别问模型强不强，问它在哪个阶段强。
---
参考文献
1. Su, D., Luo, Y., Hu, G. (2026). *VEHBench: A Stage-Local Diagnostic Benchmark for LLM-Assisted Vibration Energy Harvester Design*. arXiv:2607.18181 [cs.CL]. HKUST(GZ).
2. Guo, et al. (2025). *EngDesign: Evaluating LLMs on Engineering Design Requirements*.
3. Xia, et al. (2025). *BuildArena: Artifact Construction with Executable Feedback*.
4. Srivastava, et al. (2023). *Beyond the Imitation Game: Quantifying and Extrapolating the Capabilities of Language Models*.