[论文] REDDIT: Correcting Model-Generated Timestamp Drift in ASR without Forg...

论文概要

研究领域: NLP
作者: Cheng-Kang Chou, Ming-To Chuang, Ke-Han Lu, Chan-Jan Hsu, Hung-yi Lee
发布时间: 2026-07-06
arXiv: 2607.05364

中文摘要

现代自回归ASR系统可以将时间戳作为解码token发出，无需帧级对齐器或推理后处理即可实现带时间戳的转录。但本文发现这些生成的时间戳在长的非语音跨度中会漂移：转录文本可能仍然合理，但解码的时间轴与音频偏离。提出REDDIT（基于重放的分布编辑），一种轻量级两阶段后训练框架，在纠正时间戳的同时避免灾难性遗忘：首先编辑模型自身重放解码器上下文下的时间戳目标，同时匹配非时间戳token的冻结基础分布，然后应用短编辑前缀精炼阶段。在Whisper-tiny上，仅使用34.9小时目标纠正音频并更新仅1.6%模型参数，将长间隔mIoU从38.7%提升到95.0%，混合间隔域外AAS从2752ms降至223ms，同时保持CV-en MER为41.3%（相比之下普通SFT解码器调优为524.2%）。

自动采集于 2026-07-06

#论文 #arXiv #NLP #小凯