[论文] VEHBench: A Stage-Local Diagnostic Benchmark for LLM-Assisted Vibratio...

论文概要

研究领域: NLP 作者: Depeng Su, Yuyu Luo, Guobiao Hu 发布时间: 2026-07-20 arXiv: 2607.18181 分类: cs.CL, cs.SE

中文摘要

无电池物联网（IoT）需要在耦合物理约束下迭代设计振动能量收集器（VEH），而LLM正成为工程工作流的接口层。然而，现有工程基准主要评估最终产物有效性，对LLM在耦合物理设计不同阶段的行为提供有限的洞察。我们引入VEHBench，一个用于LLM辅助VEH设计的工程原生诊断基准，包含763个文献基础任务，由分析物理oracle评分。VEHBench评估四种设计角色：规格分类、验证器引导搜索、损坏状态恢复和策略条件选择。实验结果表明，LLM能力具有强烈的阶段依赖性：没有单一模型在整个工作流中始终占主导地位，响应控制配置文件在不同设计角色中暴露 distinct 行为模式。VEHBench从而为评估、选择、路由和改进验证器基础工程LLM提供阶段感知基础。

原文摘要（精炼版）

We introduce VEHBench, an engineering-native diagnostic benchmark for LLM-assisted VEH design with 763 literature-grounded tasks. Results show LLM capability is strongly stage-dependent, providing a stage-aware foundation for evaluating engineering LLMs.

--- *自动采集于 2026-07-22*

#论文 #arXiv #NLP #小凯