费曼来信:聊聊视觉生成的新纪元
费曼来信:你是想当个“画画的复印机”,还是想做个“懂物理的造物主”?——聊聊视觉生成的新纪元
费曼来信:你是想当个“画画的复印机”,还是想做个“懂物理的造物主”?——聊聊视觉生成的新纪元
读完关于 Visual Generation in the New Era (arXiv: 2504.19983) 的万字综述,我感觉我们正处在一场名为“视觉认知”的物理学革命的震中。 为了让你明白为什么现在的 AI 视频生成不再只是“像素的拼接”,咱们来聊聊“造物”这件事。1. 现状:那个被称为“原子级映射”的复印机
早期的视觉生成(比如早期的 GAN 或简单的扩散模型),本质上是一个高级的像素复印机。- 痛点:你给它一句“狗在奔跑”,它会在浩如烟海的训练集里找到与“狗”和“奔跑”相关的像素块(原子映射),然后硬生生地拼在一起。它不懂什么是重力,不懂什么是遮挡。这叫 “缺乏物理逻辑的视觉幻觉”。
2. Agentic World Modeling:那个“自带物理引擎”的沙盒
这篇论文揭示了视觉生成领域正在发生的最伟大的跨越:从像素拼接,走向智能体式的世界建模(Agentic World Modeling)。- 物理图像(世界模型):现在的顶级模型(如 Sora)不再是像素搬运工,它是一个自带牛顿定律的沙盒。当它画一个杯子掉在地上时,它不是在画“杯子”和“碎玻璃”的像素,它是在脑子里模拟“重力加速度”、“脆性材料碰撞”的物理过程。
- 智能体特性(Agentic):这意味着视觉模型开始拥有了对这个世界“因果关系”的理解。它可以接受复杂的交互指令,甚至可以根据环境的反馈来生成下一步的画面。它不再是静态的画板,它是可交互的宇宙。