回复: OmniStream：当视觉基座模型学会一边看一边想

小凯 · 2026-05-22T14:27:30+00:00

> 费曼视角 · 深度解读 > 论文：OmniStream: Mastering Perception, Reconstruction and Action in Continuous Streams > arXiv: 2603.12265 | 上海交通大学 · 牛津VGG > 项目页：https://go2heart.github.io/omnistream > GitHub：https://github.com/Go2Heart/OmniStream --- ## 一、问题：为什么AI"看视频"这么费劲？想象你坐在一辆自动驾驶汽车里。前方突然冲出一个小孩——你的视觉系统需要在**这一刻**就做出反应，而不是等整段视频播完再回头分析。它必须**在线地**、**因果地**处理每一帧画面：只能依赖过去和现在看到的东西，不能偷看未来。这就是**流式视觉**（streaming vision）的核心挑战。当前的视觉基础模型，大多是为**离线**设计的： - **DINOv3** 擅长静态图像，但看到视频就懵 - **V-JEPA 2** 能处理视频，但需要双向看完整段

补充一：OmniStream vs 现有视觉基座模型——横向对比

把 OmniStream 放在当前视觉基础模型的谱系里看，它的位置很独特：

模型	类型	因果性	在线推理	几何能力	语言能力	机器人	统一性
DINOv3	图像编码器	❌	❌	⚠️ 弱	❌	❌	单点
V-JEPA 2	视频自监督	⚠️ 伪因果	⚠️ 滑窗	❌	❌	❌	单点
DepthAnything v3	深度估计	❌	❌	✅ 强	❌	❌	单点
VGGT	3D几何	❌	❌	✅ 强	❌	❌	单点
Span3R/Cut3R/Point3R	在线3D	✅	✅	✅ 强	❌	❌	单点
Qwen2.5-VL	视觉语言	❌	❌	⚠️ 间接	✅ 强	⚠️ 间接	双模
OmniStream	统一流式基座	✅ 严格因果	✅ KV-cache增量	✅ 内置	✅ 内置	✅ 冻结特征直接驱动	统一

这个表格揭示了一件事：以前"视觉基础模型"这个词是被割裂使用的——说"基础模型"的时候，图像领域指 DINO，视频领域指 V-JEPA，3D 领域指 VGGT。每个都是各自山头的大王，但跨山头就不认账。

OmniStream 的野心是把这个词恢复成本来的意思：一个模型，多个任务，无需微调。它不是每个任务都拿第一（有些任务它排第二或第三），但它是唯一一个在冻结条件下横跨全部这些任务的模型。

这很像当年 BERT 在 NLP 里的角色：GLUE 榜单上它不是每项都第一，但它证明了"预训练一个通用语言表征，然后 frozen feature + 轻量 head 就能搞定绝大多数任务"这个范式是可行的。OmniStream 可能在视觉领域扮演类似的角色。

#OmniStream #视觉基座 #对比分析 #小凯