从数据堆砌到能力共生：多模态大模型训练的"课程表"革命
一个反直觉的发现
想象你在培养一个孩子。传统思路是：给他看尽可能多的图片，尽可能多的文本，尽可能多的图文对——量越大越好，种类越全越好。这几乎是当前所有多模态大模型训练的默认假设。
但字节跳动和厦门大学的研究团队在论文《From Corpora to Co-Evolving Capabilities》中提出了一个反直觉的问题：如果能力之间有依赖关系，那么"喂什么"就比"喂多少"更重要，"什么时候喂"比"喂多少"更关键。
他们训练了 3B 和 6B 两个规模的 MM-DiT（Multimodal Diffusion Transformer）模型，在 CPI-Bench 上分别拿到 3.93 和 3.94 分。这不是靠堆数据堆出来的，而是靠组织数据——把数据当作课程表来排，而不是当作饲料来灌。
问题出在哪：三个能力，三座孤岛
当前多模态模型训练通常把三个核心能力当作独立任务：
1. 文生图（T2I）：给文本，生成图像 2. 图像编辑：给图像+指令，修改图像 3. 知识问答：给图像+问题，回答关于图像的问题
传统做法是为每个能力单独构建数据集，单独训练。这就像三座孤岛——T2I 团队管 T2I 的数据，编辑团队管编辑的数据，知识团队管知识的数据。每个团队都在优化自己的指标，但没人问：这些能力之间有没有依赖？
论文用一张能力依赖图回答了这个问题：
- T2I 的语义对齐是基础。模型必须先学会"猫"这个概念对应什么样的视觉模式，才能在编辑时把猫换成狗，在问答时识别出图里的猫。
- 图像编辑的指令理解依赖 T2I 建立的概念词汇表。"把背景换成夕阳"这个指令，只有当模型已经知道"背景"和"夕阳"的视觉语义时才有意义。
- 知识问答需要细粒度的视觉理解，而这恰恰是 T2I 训练中"看"过大量图像实体的副产品。
解法：能力驱动的数据基础设施
论文的核心贡献是设计了一套"能力驱动的数据基础设施"，包含两个关键组件：
组件一：三个特化但可互操作的数据管道
不是一个大杂烩数据集喂所有任务，而是三个专门化的管道：
| 管道 | 数据规模 | 核心功能 |
|---|---|---|
| T2I 引擎 | 4.4 亿张图像 | 建立视觉-语义对齐，提供可复用的概念基础 |
| 图像编辑引擎 | 1.2 亿对图像 | 提供关系监督（什么变了，什么没变） |
| 知识问答引擎 | 2700 万+ 图像-实体对 | 注入细粒度知识，连接视觉和事实 |
这就像三个部门共用一套术语表——市场部说"客户画像"，技术部说"客户画像"，客服部也说"客户画像"，而不是各搞一套。
组件二：能力对齐的五阶段课程
这是论文最精妙的设计。不是把所有数据混在一起喂，而是按能力依赖顺序排成五个阶段：
阶段 1：256px T2I 预训练 广覆盖，建立基础视觉-语义对齐。这个阶段不碰编辑和知识，只做一件事——让模型"看"懂世界。分辨率故意压低到 256px，是为了在有限算力下覆盖尽可能多的视觉概念。
阶段 2：256px/512px 复杂 T2I 引入文本密集型和知识密集型图像。海报、图表、信息图——这些图像自带大量文本和知识，为后续的知识问答能力埋下种子。
阶段 3：512px 联合 T2I & 编辑 第一次引入编辑任务。此时模型已经有了扎实的概念词汇表，编辑指令中的"把 X 改成 Y"可以直接复用 T2I 阶段学到的 X 和 Y 的视觉表示。
阶段 4：512px/1024px T2I & 编辑持续训练 提升分辨率，持续强化两个能力的协同。
阶段 5：1024px T2I & 编辑 SFT 最后的指令微调，对齐人类偏好。
这个课程表的核心洞察是：能力之间有教学顺序。先学走路，再学跑——T2I 是走路，编辑是跑，知识问答是跳。传统训练把三者混在一起，等于让一个还没学会走路的人同时学跑和跳，每个都学不好。
Caption 作为桥梁：被忽视的关键设计
论文中有一个容易被忽略但极其重要的设计：T2I 的 caption 和编辑指令共享词汇和结构。
这不是理所当然的。传统做法中，T2I 的 caption 通常是描述性的（"一只猫坐在窗台上"），而编辑指令是指令性的（"把猫换成狗"）。两者的语法结构、词汇选择、表达习惯都不同。
论文的做法是让两者对齐——T2I 的 caption 中出现的概念，在编辑指令中用同样的词表达。这样模型在 T2I 阶段学到的概念表示，可以被编辑指令直接调用，不需要额外的"翻译"层。
这就像两个部门共用一套 API——T2I 部门定义的概念接口，编辑部门可以直接调用，不需要适配器。
主动反馈循环：评测驱动数据迭代
第三个组件是一个闭环：评测驱动的数据迭代。
不是训练完就结束，而是训练→评测→发现弱点→针对性补充数据→再训练。论文把这个过程叫做"active feedback loop"。
这和传统"收集数据→训练→部署"的线性流程不同，是一个螺旋上升的过程。每次评测暴露的能力短板，都会转化为下一轮数据收集的优先方向。
数据：3B 和 6B 模型的实证
论文训练了 3B 和 6B 两个规模的 MM-DiT 模型，从零开始训练（不是微调）。在 CPI-Bench（Capability Progression Insight Benchmark）上：
- 3B 模型：3.93 分
- 6B 模型：3.94 分
为什么这很重要：数据组织作为新的扩展轴
这篇论文的深层贡献不在于某个具体技术，而在于提出了一个新的视角：数据组织是和数据量正交的扩展轴。
过去几年的 scaling law 主要关注两个轴：模型大小和数据量。这篇论文指出，在模型大小和数据量不变的情况下，改变数据的组织方式（按能力依赖排序、共享词汇表、闭环迭代）可以带来显著提升。
这和"换层面解决问题"的跨域原则一致——不是在同一个层面（更多数据、更大模型）做增量，而是换一个层面（数据组织方式）做结构优化。
类比一下：
- 章鱼的 RNA 编辑：不改 DNA（数据量不变），改 RNA（组织方式变），就能快速适应环境
- 黏菌的外化记忆：不靠神经元（模型大小不变），靠黏液轨迹（数据组织），就能解决迷宫
- 这篇论文的能力课程：不堆数据（量不变），按依赖排序（组织变），就能提升能力
对工程实践的启示
这篇论文对实际训练多模态模型的团队有几个直接可用的启示：
1. 不要混喂。T2I、编辑、知识问答的数据要分开管理，但要确保概念词汇表一致。 2. 排课表。按能力依赖排序训练阶段，先基础后高级。 3. Caption 是桥梁。T2I 的描述文本和编辑指令文本要共享词汇和结构。 4. 闭环迭代。评测不是终点，是下一轮数据收集的起点。
一个未解的问题
论文留下了一个开放问题：能力依赖图是否适用于所有模态组合？
论文验证了 T2I→编辑→知识的依赖链。但如果加入视频生成、3D 生成、音频生成，依赖结构会变成什么样？是树状的（一条链），还是图状的（多向依赖）？
这个问题不是纯学术的——它决定了多模态模型的训练课程表能否扩展到更广的模态范围。如果依赖图是树状的，课程表可以线性排列；如果是图状的，就需要拓扑排序，甚至可能存在循环依赖（A 依赖 B，B 依赖 A），那就需要交替训练。
这是这篇论文留下的最有价值的开放问题——它把"数据组织"从一个工程技巧提升为一个需要理论框架的研究问题。
结语
这篇论文的核心洞察可以用一句话概括：数据不是饲料，是课程；能力不是孤岛，是生态。
当整个行业都在追求"更多数据、更大模型"的规模定律时，这篇论文提醒我们：在数据量和模型大小之外，还有一个被忽视的扩展轴——数据组织。而组织的前提是理解能力之间的依赖关系。
这就像从"堆食材"到"排菜谱"的转变——同样的食材，按正确的顺序烹饪，出来的菜就是不一样。
---
论文信息：From Corpora to Co-Evolving Capabilities: A Capability-Centric Data Design for Multimodal Foundation Models arXiv：2608.18076 作者单位：字节跳动、厦门大学 开源代码：暂未开源