[论文] EmoRES-TTS: Residual-Enhanced Vector Steering for Emotional Speech Gen...

研究领域: NLP 作者: Kuan-Po Huang, Haohe Liu, Puyuan Peng, Haibin Wu, Zhaoheng Ni, Hung-yi Lee, Jinwon Lee, Neha Chachra 发布时间: 2026-09-29 arXiv: 2609.38157

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: NLP 作者: Kuan-Po Huang, Haohe Liu, Puyuan Peng, Haibin Wu, Zhaoheng Ni, Hung-yi Lee, Jinwon Lee, Neha Chachra 发布时间: 2026-09-29 arXiv: 2609.38157

中文摘要

情感条件化的文本转语音(TTS)模型可能无法可靠地表达所请求的情感,而通过额外训练来改进可控性在计算和情感标注语音训练数据两方面成本都很高。因此,我们研究向量转向(vector steering)——一种免训练的方法,通过修改冻结模型的内部表示来控制输出。CoCoEmo是一种传统的情感TTS向量转向方法,将每个情感向量视为由单一全局强度控制的不可分方向,限制了对所请求情感的遵循度。本文首先发现,情感向量可以分解为一个将语音推离中性表达的共享分量和一个引导生成朝向所请求情感的残差分量。基于这一发现,我们提出EmoRES——情感残差增强TTS转向方法,无需重新训练骨干模型即可分别控制两个分量。在IEMOCAP上,EmoRES在IndexTTS-2和CosyVoice2两个骨干上的四项客观情感指标全面优于CoCoEmo。排名相关分别提升26.13和12.97个百分点,对应相对增益118.8%和33.1%;情感命中率分别提升12.95和6.92个百分点,对应相对增益20.1%和9.8%。人类评估进一步表明,听者对主导请求情感的识别率相对提升高达35.0%,保真度提升高达17.3%,在自然度上最多63.8%的成对比较中偏好EmoRES。分量消融进一步证明,有效的控制需要保留共享分量的同时增强情感转向向量的残差分量。

原文摘要

Emotion-conditioned text-to-speech (TTS) models may fail to express the requested emotion reliably, and improving controllability by additional training is costly in both computation and emotion-labeled speech training data. We therefore study vector steering, a training-free approach that modifies the internal representations of a frozen model. CoCoEmo, a conventional vector steering method for emotion TTS, treats each emotion vector as an indivisible direction controlled by a single global strength, limiting adherence to the requested emotion. In this work, we first discover that an emotion vector can be decomposed into a shared component that moves speech away from neutral expression and a residual component that directs generation toward the requested emotion. Building on this finding,...


*自动采集于 2026-10-01*

#论文 #arXiv #NLP #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

四个相对增益我逐个复算,全部对上。但 118.8% 的分母是 22.00 ± 4.83。

先把它做对的说清。情感向量能被劈成"把语音推离中性的共享分量"和"指向所求情感的残差分量",这个分解本身是干净发现;λc=λr=1 时恰好退化成 CoCoEmo——有退化点、有对照,不是硬凑。IEMOCAP 上两个骨干的四项指标全部优于 CoCoEmo:IndexTTS-2 上 E-SIM 65.32→67.67、TEP 36.22→41.11、ρ 22.00→48.13、H-Rate 64.34→77.29;CosyVoice2 上是 63.43→65.34、37.44→40.12、39.13→52.10、70.90→77.82。全胜,无例外。

四个百分比也对得上,我一个一个算过: 26.13/22.00=118.8% ✓、12.97/39.13=33.1% ✓、12.95/64.34=20.1% ✓、6.92/70.90=9.8% ✓。基线值 22.0/39.1/64.3/70.9 都实存于表 1。人类评估 19.17/54.72=35.0% ✓、8.80/50.80=17.3% ✓ 也对。这笔账是干净的。

但要看到分母。

  • ρ 的基线是 22.00 ± 4.83(5 次重复),EmoRES 是 48.13 ± 2.44。118.8% 这个漂亮的相对数,架在一个又低又抖的基线上。要引用就引用 +26.13pp 这个绝对值。
  • "高达 17.3%"藏了低的那一项。 Fidelity 在 IndexTTS-2 上只有 60.05→66.32,+6.27pp,相对 +10.4%;17.3% 是 CosyVoice2 那一个。自然度同理,另一个骨干只有 60.32%。
  • "最多 63.8% 偏好"是平票调整后的分数(§4.3.2 式 17,平票记 0.5)。表 2(b) 原始三选一里,IndexTTS-2 只有 50.83% 的听者明确选 EmoRES、25.93% 说差不多;CosyVoice2 只有 41.78% 选 EmoRES、37.07% 说差不多。第二个骨干上,明确偏好的不到一半。
帖子没提的一条,代价其实不小: 两个骨干在 S-SIM 与 WER 上都不如 no-steer。IEMOCAP/IndexTTS-2 上 S-SIM 85.09(no-steer)→83.11(CoCoEmo)→84.52(EmoRES),WER 5.69→6.61→5.94;单情感设定更明显,CREMA-D/IndexTTS-2 中性 prompt 下 WER 6.54→6.73→8.47。转向的代价由可懂度和音色在付,EmoRES 只是比 CoCoEmo 少付一点。

样本量上有一处硬缺口:IEMOCAP 用了多少条 utterance 全文未找到(表 1 只给百分比);主观评测的听者总数 K 也没给(§B.2 只用符号 K),只写了 IndexTTS-2 360 条、CosyVoice2 330 条、每条 ≥9 个标注。另外调参用的是 3 类 CREMA-D,测试是 4 类 IEMOCAP。

两条帖子漏报的加分项,比那个百分比硬得多:附录 D 把残差换成等范数高斯方向,ρ 从 45.87 掉到 0.58(IndexTTS-2)/4.12(CosyVoice2)——收益确实来自方向而不是幅度;附录 G 换三个不同的情感识别器,18 项比较全胜。

一句话:分解是真的,四项全胜是真的,四个百分比也算得对;但 118.8% 请连同 22.00±4.83 一起引用,63.8% 请注明是平票调整后的口径。

118.8% 的分母,是一个 22

暂无表态

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens