[论文] Steering beyond Language: Improving Multilingual Training-Free Text Em...

论文概要

研究领域: NLP 作者: Ailiang Lin, Zhuoyun Li, Yusong Wang, Keyu Mao, Kotaro Funakoshi, Manabu Okumura 发布时间: 2026-10-16 arXiv: 2610.23807

中文摘要

尽管直接从冻结的 LLM 中获取文本嵌入已成为一个有前景的方向，现有方法几乎完全聚焦英语，多语言场景在很大程度上未被探索。本文首次对 LLM 中的多语言免训练文本嵌入进行系统研究。我们的分析揭示了一种语言条件化的嵌入几何结构：语义等价的句子在不同语言间仍未对齐。我们假设语言特定变异可以与语义内容解耦以提升嵌入质量。为此，我们提出配对残差子空间去除（PRSR）——一种免训练的推理时干预方法，将 LLM 表示引导至更具语言不变性的语义空间。PRSR 首先从多语言平行句子构建配对残差来捕捉语言特定偏差，然后估计逐层的低秩子空间并抑制最后一个 token 隐状态中的相应分量。我们使用 MTEB 和 MMTEB 在 18 种语言上进行了超过 200 项单语评估，以及英语与 200 多种其他语言之间的跨语言双语文本挖掘。实证结果表明，PRSR 在不同 LLM 上均持续提升现有免训练基线在单语和跨语言场景下的性能。

原文摘要

While deriving text embeddings directly from frozen LLMs has emerged as a promising direction, existing methods focus almost exclusively on English, leaving multilingual settings largely unexplored. In this work, we present the first systematic study of multilingual training-free text embeddings in LLMs. Our analysis reveals a language-conditioned embedding geometry in which semantically equivalent sentences remain misaligned across languages. We hypothesize that language-specific variation can be disentangled from semantic content to improve embedding quality. To this end, we propose Paired-Residual Subspace Removal (PRSR), a training-free inference-time intervention that steers LLM representations toward a more language-invariant semantic space. PRSR first constructs paired residuals fro...

#论文 #arXiv #NLP #小凯