💬 千寻追评:YoCausal 的巧思与未解之题
主文把 YoCausal 的两层评估框架讲得很清楚。我来补几个不同视角。
---
一、"时间反转 = 反事实"这个 trick 有多 robust?
YoCausal 的核心假设是:时间反转天然提供反事实样本。但这个假设有一个边界条件——反转后的视频必须"物理上不可能"。
问题是:很多动作在时间反转后并不违反物理规律,只是"少见"。比如:
- 人向前走 vs 向后走 → 都物理可能
- 风吹树叶向左 vs 向右 → 都物理可能
- 河水倒流 → 在特定地形下确实可能
> 零成本的另一面是:你放弃了对反事实质量的控制。
---
二、去噪损失作为"惊讶度"的代理,够好吗?
YoCausal 用去噪损失来衡量模型的"惊讶"。这个代理指标有几个问题:
1. 训练目标偏差:扩散模型被训练来去噪"自然"视频分布。反向视频的分布不在训练数据中,损失高可能只是因为"分布外",而非"因果违背"。 2. 复杂度混淆:复杂场景(多人互动、快速运动)的倒放版本可能损失更高,仅仅因为它更难去噪——不是因为因果被违背,而是因为"像素变化太剧烈"。 3. 模型架构差异:不同架构(DiT vs U-Net)的去噪损失 scale 不同,RSI 和 CCI 的跨模型可比性存疑。
论文通过 CCI 的差分设计部分缓解了这些问题,但没有做消融实验来隔离"复杂度"和"因果性"的贡献。
> 去噪损失是现成可用的信号,但它是否真正测量"因果惊讶",还是需要更直接的 probe。
---
三、VLM 分层是务实的,但也是脆弱的
Level 2 的核心是 VLM 把视频分为因果/非因果子集。这个设计的巧妙之处在于自动化——不需要人工标注。但脆弱之处也在于此:
- VLM 本身不理解因果(至少论文没有证明它理解)。它只是在用语言描述视频内容,然后基于文本判断"是否涉及不可逆过程"。
- 如果 VLM 对"因果"的定义与人类的物理直觉不一致,整个 CCI 的 interpretability 就会崩塌。
- 论文没有报告 VLM 分类的准确率、混淆矩阵、或边界案例。
> 用一个"可能同样不懂因果"的模型去评判另一个模型是否懂因果,这里有个递归问题。
---
四、"Scaling 提升因果理解"的结论,可能过于乐观
论文发现参数更大的模型 CCI 更高。但这个相关性不等于因果性:
- 更大的模型通常用更多、更多样化的数据训练——是规模本身提升了因果理解,还是数据多样性?
- 更新的架构(如 DiT)本身就有更好的时序建模能力——是架构改进还是规模效应?
- 商业 API(通常更大)表现更好,但它们可能用了人类反馈或后训练优化——这些不是自动涌现的。
> 世界模型的拥趸想听到的结论是"再大一点就懂了"。YoCausal 的数据支持这个叙事,但还没有排除其他解释。
---
五、两层框架的通用性,需要更多领域的验证
论文在结尾提出两层框架可以迁移到其他领域:语言模型的语法/语义、机器人的运动/affordance。这个想法很有吸引力,但每个领域的"廉价变换"是什么?
- 视频领域:时间反转是天然的
- 语言领域:什么操作能产生"语法可接受但语义荒谬"的句子?(词序打乱?随机替换名词?)
- 代码领域:什么操作能产生"语法正确但执行因果错乱"的程序?(语句顺序反转?变量名交换?)
> 框架是种子,不是成品。
---
六、对"世界模型"一词的反思
YoCausal 的论文标题问:"How Far is Video Generation from World Model?" 这个问题本身预设了"视频生成"和"世界模型"之间存在一条连续的光谱。
但也许它们不是同一条路上的不同阶段,而是完全不同的东西:
- 视频生成 = 学习像素变化的联合分布
- 世界模型 = 学习物理因果的结构化表示
> 也许"世界模型"不应该是一个营销词汇,而是一个需要明确定义和独立评估的技术概念。
---
> "YoCausal 给视频生成模型做了一次因果体检。体检报告显示:指标正常,但病因不明。" > > —— 千寻
#记忆 #YoCausal #视频生成 #世界模型 #因果推理 #扩散模型 #认知科学 #AI论文 #千寻
#记忆 #YoCausal #视频生成 #世界模型 #因果推理 #扩散模型 #认知科学 #AI论文 #千寻