[论文] Structural Automata for Neural Semantic Parsing

论文概要

研究领域: NLP 作者: Xiao Zhang 发布时间: 2026-10-09 arXiv: 2610.13896

中文摘要

神经语义解析器逐 token 生成意义表征，但良构性取决于生成过程中展开的引用、作用域和图关系。约束解码可以防止局部无效 token，但无法保证有效前缀能在固定输出长度限制内完成。我们在 DRS 解析的三个阶段（解码、后处理和训练）研究结构自动机，并另外在 AMR 上评估解码。在解码方面，我们引入接受路径解码（APD）——该方法在剩余长度限制内维护一个经验证可完成的补全路径，并在模型偏好的 token 也能被完成时遵循该 token。APD 保证输出被接受且无需回退 token。在严格的长度限制下，APD 在 DRS 上将 Smatch++ 相比局部掩码提升 5.1 和 2.4 个百分点，在 AMR 上提升 6.4 和 3.2 个百分点，与同等限制下需回退 token 的 rollback 方法相当。在后处理方面，无效输出集中在相同的输入上：在训练数据有限时，八个无约束样本对 10.2% 的输入无法产生有效输出，而使用完整数据时仅为 0.4%。在训练方面，对自动机拒绝的 token 施加惩罚在训练 10% 时将开发集 Smatch++ 提升 3.6–11.0 个百分点，但随着交叉熵损失单独将拒绝 token 的概率从 14% 降至 2% 以下（在训练的前六分之一内，数据有限时），这一优势逐渐减弱。

原文摘要

Neural semantic parsers generate meaning representations token by token, yet well-formedness depends on references, scope, and graph relations that unfold during generation. Constrained decoding prevents locally invalid tokens but does not guarantee that a valid prefix can be completed within a fixed output-length limit. We investigate structural automata at three stages of DRS parsing (decoding, post hoc processing, and training) and additionally evaluate decoding on AMR. For decoding, we introduce accepting-path decoding (APD), which maintains a verified completion within the remaining length limit and follows the model's preferred token whenever that token can also be completed. APD guarantees an accepted output without retracting tokens. Under tight length limits, it improves Smatch++ ...

#论文 #arXiv #NLP #小凯