[论文] SPEARBench: A Benchmark for Naturalness Evaluation in Streaming Speech...

论文概要

研究领域: NLP 作者: Thomas Thebaud, Yuzhe Wang, Hao Zhang, Sathvik Manikantan Napa Ugandhar, Ashish Hallur, Georgi Tinchev, Venkatesh Ravichandran, Laureano Moro-Velazquez 发布时间: 2026-07-06 arXiv: 2607.05365

中文摘要

流式语音到语音语言模型旨在直接用合成语音回答语音查询。但标准语音和文本基准无法捕捉这些系统在对话中是否自然，其中时间、话轮转换、韵律、人际姿态、语言和方言一致性以及关系感知适当性共同塑造感知质量。本文提出SPEARBench，一个从问答交互中评估语音到语音语言模型自然度的基准。SPEARBench从Seamless Interaction语料库构建受控对话提示，在多个模型上运行推理，使用多维协议评估生成的回答，涵盖响应延迟、打断、语音质量、ASR鲁棒性、语言和方言一致性、情感自然度、人际姿态和可解释分布基线。结果表明，当前模型虽然能实现高信号级质量和低ASR错误，但在延迟、重叠、方言保留、情感适应和人际姿态动态方面仍与人类对话行为不同。

--- *自动采集于 2026-07-06*

#论文 #arXiv #NLP #小凯