[论文] Context Unrolling in Omni Models

论文概要

研究领域: CV
作者: Ceyuan Yang, Zhijie Lin, Yang Zhao, Fei Xiao, Hao He, Qi Zhao, Chaorui Deng, Kunchang Li, Zihan Ding, Yuwei Guo, Fuyun Wang, Fangqi Zhu, Xiaonan Nie, Shenhan Zhu, Shanchuan Lin, Hongsheng Li, Weilin Huang, Guang Shi, Haoqi Fan
发布时间: 2026-04-23
arXiv: 2604.21921

中文摘要

我们提出了Omni，一个统一的多模态模型，原生训练于多种模态，包括文本、图像、视频、3D几何和隐藏表示。我们发现这种训练实现了上下文展开（Context Unrolling），即模型在产生预测之前跨多种模态表示进行显式推理。这一过程使模型能够聚合异构模态间的互补信息，促进对共享多模态知识流形的更忠实近似，并提高下游推理保真度。因此，Omni在多模态生成和理解基准上实现了强劲的性能，同时展示了高级多模态推理能力，包括文本、图像、视频和3D几何的上下文生成。

原文摘要

自动采集于 2026-04-27

#论文 #arXiv #CV #小凯