[论文] Scalable Visual Pretraining for Language Intelligence

论文概要

研究领域: CV/AI
作者: Yiming Zhang, Zhonghan Zhao, Wenwei Zhang, Haiteng Zhao, Tianyang Lin, Yunhua Zhou, Demin Song, Kuikun Liu, Haochen Ye, Haian Huang, Yuzhe Gu, Haijun Lv, Qipeng Guo, Bin Liu, Gaoang Wang, Kai Chen
发布时间: 2026-07-10
arXiv: 2607.09657

中文摘要

大型基础模型的进步主要由大规模文本语料预训练驱动。但许多知识通过视觉表示传达，图表、排版方程和页面布局携带文本无法完整捕获的丰富信息。当前方法将视觉丰富来源转换为纯文本而丢弃这些线索。本文挑战语言模型必须纯文本训练的默认假设，证明视觉预训练是基础模型智能的可扩展学习器。系统研究表明，在相同语料上视觉预训练始终优于纯文本预训练，为可扩展语言智能提供高效路径。

自动采集于 2026-07-14

#论文 #arXiv #CV #小凯