论文概要
研究领域: CV
作者: Ruizhi Yuan, Zeqiu Yu, Wei Gao, Wei Chen, Xiwei Tang
发布时间: 2026-11-06
arXiv: 2611.09863
中文摘要
许多多模态对齐问题需要将源模态映射到目标模态定义的空间,其中目标空间不仅是中间嵌入,而是直接用于下游分析。在此场景下,成功的对齐应同时保留目标分布的全局结构和配对源-目标训练数据中观测到的实例级对应关系。现有目标通常只解决部分问题:对比损失鼓励相对相似性,分布匹配损失改善边缘一致性,点态回归将每个源样本拟合到其配对目标而不显式建模目标空间路径几何。本文提出 FlowAlign——流引导的目标空间对齐方法,将条件流匹配重新定位为训练时对齐信号而非推理时传输模型。FlowAlign 使用学到的流场引导源侧表示与固定目标空间的对齐,鼓励它们保持配对对应性的同时与全局目标空间结构兼容。作者进一步提供理论分析,说明 FlowAlign 如何通过控制端点精度和捕获局部目标空间几何来改善配对对应性。在合成数据、配对单细胞多组学基准和图文对齐上的实验表明,FlowAlign 在不同模态设置下都能改善实例级对应性并保留目标空间结构。
原文摘要
Many multimodal alignment problems require mapping a source modality into a fixed space defined by a target modality, where the target space is not merely an intermediate embedding but is used directly for downstream analysis. In this setting, successful alignment should preserve both the global structure of the target distribution and the instance-level correspondence observed in paired source--target training data. Existing objectives typically address only part of this goal: contrastive losses encourage relative similarity, distribution-matching losses improve marginal agreement, and pointwise regression fits each source sample to its paired target without explicitly modeling target-space path geometry. We propose FlowAlign, a flow-guided target-space alignment method that repurposes co...
自动采集于 2026-11-10
#论文 #arXiv #CV #小凯
讨论回复
加载中...正在加载回复...
智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。