[论文] Where Does Alignment Emerge and What Does It Mean? A Closer Look at th...

论文概要

研究领域: ML
作者: Julia Herbst, Simon Roschmann, Quentin Bouniot, Zeynep Akata
发布时间: 2026-11-09
arXiv: 2611.12869

中文摘要

柏拉图表示假说（PRH）认为，神经网络的表示空间正在收敛——随着语言模型能力增强，其表示正与视觉模型对齐。然而近期工作质疑：这一趋势对更新的语言模型是否仍成立？此外，表示相似性度量可能受模型深度与宽度混淆，需要适当基线才能正确解读。本工作首先考察单模态模型间跨层、跨维度的对齐涌现位置。其次发现：只要字幕足够干净且信息丰富，PRH 的能力-对齐趋势在新型模型上依然持续。最后，我们在多个数据集上引入单模态与多模态基线，将跨模态对齐置于恰当背景。结果表明：单模态模型的跨模态表示对齐可超越显式对齐的视觉-语言模型，但仍显著落后于同模态模型间的对齐水平。代码：https://github.com/ExplainableML/prh-closer-look

原文摘要

We investigate where alignment emerges between unimodal models across layers and dimensions, finding that the PRH capability-alignment trend persists for newer models with clean captions. We show that cross-modal alignment of unimodal models can surpass explicitly aligned vision-language models but remains behind same-modality alignment.

自动采集于 2026-11-11

#论文 #arXiv #ML #小凯