GenCeption 视频生成一统视觉,DeepMind 何恺明 7-500 倍数据效率惊艳 ECCV 2026

事件内容

Google DeepMind 在 2026 年 7 月 10 日提交、将于 ECCV 2026 发表的新论文《Video Generation Models are General-Purpose Vision Learners》(arXiv:2607.09024) 提出 GenCeption:把大规模预训练的文本到视频扩散模型当作「前馈感知骨干」,通过文本指令驱动,完成深度估计、表面法线、相机位姿、指代分割、3D 关键点预测等多种视觉任务。

GenCeption 在多个基准上达到 SOTA,匹配或超越专用模型 DepthAnything3、SAM3、D4RT、VGGT-Omega、Sapiens、David、Genmo、Lotus-2。它的核心数据是仅用 7 到 500 倍更少的训练数据,就能达到 D4RT 和 VGGT-Omega 的同等性能;且只用合成人类视频训练,即可泛化到真实场景及动物、机器人等分布外(OOD)物体类别。

作者团队 12 人,来自 Google DeepMind + 多伦多大学 + UCL + 牛津大学 + MIT + 隆德大学,领衔者包含 Kaiming He(何恺明,MIT)、Andrew Zisserman(牛津)、Joao Carreira 等。

来源:arXiv 论文 2607.09024 · 项目主页 genception.github.io · 7 月 10 日提交

深度剖析

1. GenCeption 是一次「范式升维」,而不仅是「模型迭代」

过去十年计算机视觉是「任务专属模型」时代:深度估计用 DepthAnything、分割用 SAM、相机位姿用 VGGT——每个任务一个模型、一套数据、一组损失函数。GenCeption 的核心论点是:大规模文本到视频生成模型本身已经学到了「视觉世界的全部先验」(时空结构、物体物理、光照变化、3D 几何、视角不变性),只需少量后训练,就能被「文本指令」调用,变成通用感知模型。这跟 2017 年 Transformer 把 NLP 从「任务专属」推向「通用预训练」的过程高度类似——这是论文敢叫「General-Purpose Vision Learners」的底气。

2. 7-500 倍数据效率是「反摩尔定律」级别的惊喜

在大多数视觉任务里,「训练数据越多越好」是默认假设。GenCeption 反其道而行:只用 D4RT 训练数据的 1/7、VGGT-Omega 训练数据的 1/500,就能达到同等性能。这意味着**「视觉数据是过剩的,而视觉先验是稀缺的」**——视频生成模型已经把先验学到手了,后训练只是把「调用接口」对齐到具体任务。这个发现如果被验证可迁移到其他任务(图像分类、目标检测、姿态估计),整个 CV 训练范式都会被重写。

3. 「合成人类视频训练 → 泛化到动物、机器人」是具身智能的关键节点

GenCeption 用纯合成人类数据训练,但能泛化到真实场景、动物、机器人——这种 sim-to-real + 跨类别 OOD 泛化 在视觉感知里极为罕见。对具身智能来说,「机器人视觉系统」的最大瓶颈不是「能不能识别物体」,而是「数据采集成本」(每个新场景、每个新物体都要重新标注)。GenCeption 暗示:只要有一个足够强的视频生成预训练骨干,后续具身视觉的边际数据成本会趋近于零。这是 LingBot-VA 2.0(07-11 cron 已发)、Forterra Lancer(07-08 cron 已发)、GenCeption 这一系列具身进展的核心底层——「视觉感知」的边际成本塌方将直接重塑具身智能的经济模型。

4. 何恺明 + Andrew Zisserman + Joao Carreira 是「深度学习视觉史」的同框

论文作者列表在 CV 圈相当于「复仇者联盟」:Kaiming He(ResNet、MAE)代表「深度学习视觉骨干」的现代路线,Andrew Zisserman(牛津 VGG 组,光流 + 多视图几何先驱)代表「经典几何视觉」的传统,Joao Carreira(视频理解与生成)代表「视频预训练」的当下。这三个人同框意味着「视频生成作为通用视觉预训练」这个论断获得了两代研究者的共同背书——这不是「一派的实验胜利」,而是「跨范式的范式共识」。

5. 代码尚未发布,但工程影响已开始

GenCeption 论文代码「TBA」(To Be Announced),这是 ECCV 接收后、正式开源前的正常节奏。但项目页透露的 demo 已展示「文本指令切换任务」「4D grounding」「OOD 泛化」三大核心能力。一旦代码 release(预计 ECCV 2026 会议前后),深度估计 / 分割 / 关键点检测 / 机器人视觉的下游研究很可能被批量改写。

值得关注的原因

• 「视频生成 = 视觉基础模型」正在成为学界共识 —— 7 月 10 日 ECCV 投稿 + Google DeepMind 联合多伦多 / 牛津 / MIT,这种级别的背书极少
• 具身智能的视觉感知边际成本可能塌方 —— 这是 GenCeption 对产业最直接的暗示:机器人视觉系统不再需要「海量标注」,视频生成预训练 + 文本指令微调就够了
• 何恺明在 ECCV 2026 再次站到风口 —— 从 ResNet 到 MAE 到 GenCeption,何恺明的论文永远是「CV 十年一次」的节点级信号
• 代码 release 即将到来 —— GenCeption 团队从项目页和论文措辞看,代码开源只是时间问题,届时 depth / segmentation / keypoint 赛道会迎来一波冲击
• 「文本指令驱动视觉模型」是 agent 视觉的基础 —— 未来 agent 看世界,可能不是「调一个专门模型」,而是「发一句指令给通用视觉模型」

风险与待观察

• 代码尚未开源,无法独立验证 —— ECCV 论文的 SOTA 通常在论文报告条件下可重现,但真实工业场景的鲁棒性需要 release 后才能判断
• 视频生成骨干本身的算力门槛 —— GenCeption 假设有「大规模预训练的文本到视频扩散模型」,但这种骨干(如 Sora / Veo / 可灵)本身训练成本极高,中小团队无法复现这条路线
• 「通用视觉模型」的任务边界未明 —— 论文主要覆盖 5 类任务(深度 / 法线 / 位姿 / 分割 / 关键点),是否真能扩展到分类、检测、跟踪、OCR 等更广任务,需要后续工作
• 「文本指令」是否真比「任务专属 prompt」更优 —— 在生产场景,「深度估计」(DepthAnything3) vs 「文本指令 + 通用视觉模型」的精度、速度、可解释性对比尚未明确

来源: arXiv 2607.09024 | GenCeption 项目页 | arXiv PDF