[论文] LACE: Layer-Wise Compression for Dynamic Frame Rate Codecs

论文概要

研究领域: NLP 作者: Thanapat Trachu, Samuele Cornell, William Chen, Shinji Watanabe 发布时间: 2026-09-15 arXiv: 2609.17509

中文摘要

神经音频编解码器是语音语言建模的关键组件。然而，其高帧率导致序列长度增加，从而提高了计算成本。动态帧率编解码器通过压缩步骤合并多个帧来降低有效帧率，从而缓解这一问题。但此前大多数方法要么仅适用于单码本编解码器，要么在多层量化之前应用单一压缩步骤。这迫使所有量化层共享相同的分段边界，尽管不同量化层的残差嵌入在时间上的变化率不同。我们提出 LACE（层级自适应编解码器编码），一种动态帧率编解码器，在每个量化层应用独立的压缩步骤，实现层级特定的分段边界。为了将 LACE 词元用于下游文本转语音（TTS），我们还引入了联合对齐和边界锚定机制，使各层的持续时间保持一致，同时保留压缩带来的收益。LibriTTS 上的实验表明，LACE 在重建任务上提供了比先前动态帧率方法更好的率-质量权衡，并提高了 TTS 推理效率，同时保持了有竞争力的合成质量。我们的代码已作为 ESPnet3 编解码器配方的一部分发布。

原文摘要

Neural audio codecs are a key component in speech language modeling. However, their high frame rates lead to long sequence lengths, increasing computational costs. Dynamic frame rate codecs mitigate this by reducing the effective frame rate using a compression step to merge multiple frames together. However, most prior methods either operate on single-codebook codecs or apply a single compression step before multi-layer quantization. This forces all quantization layers to share the same segmentation boundaries, despite the residual embeddings at different quantization layers exhibiting different rates of change over time. We propose LACE (Layer-Adaptive Codec Encoding), a dynamic frame rate codec that applies an independent compression step at each quantization layer, enabling layer-specif...

#论文 #arXiv #NLP #小凯