模型不缺脑子,缺相册
ARC-AGI-3 是一批交互式小游戏:一个 64 乘 64 的网格世界,玩家在里面摸索规则、找通关路径。这个基准出来后,主流玩法是把每帧画面压成文字——网格变成一行行颜色编号,交给语言模型当文字谜题做。
模型不缺脑子,缺相册
ARC-AGI-3 是一批交互式小游戏:一个 64 乘 64 的网格世界,玩家在里面摸索规则、找通关路径。这个基准出来后,主流玩法是把每帧画面压成文字——网格变成一行行颜色编号,交给语言模型当文字谜题做。
MIT 何恺明组的做法不一样。他们让模型直接看画面。论文叫 VISTA,编号 arXiv 2610.02200,五个人里两位(Linlu Qiu、Keya Hu)正是 ARC-AGI-3 论文的作者——出题的人回来造装备了。
三件套
VISTA 给模型装了三样东西。
一是直接看渲染图,不转文字。二是无损相册:交互中出现的每一帧原样存档,一张不压缩、一张不丢弃。三是放大镜:推理过程中,模型自己决定翻相册里的哪几帧、放大哪块区域。玩 Minecraft 克隆时,它会放大快捷栏去分辨铁矿和石头;玩吃豆人时,它翻回第一帧去看完整迷宫——迷宫比屏幕大,看一眼记不全,回看是唯一办法。旁边还带一本文字笔记,边玩边更新。
对照组是标准玩法:175K 的上下文,塞满就把最早的轮次丢掉——agent 没有长期记忆,玩到后面忘了开头。VISTA 的相册在上下文外面,原始帧不占地方,要哪张取哪张。
满分
Claude Opus 5.0 挂上 VISTA:25 个公开游戏全通,动作数比初次上手的人类少 57.4%,效率分从 40.68 拉满到 100.00。换 GPT-5.6 Sol,25 个全通,效率 99.00。论文说这是第一个不靠文字转写、在这套基准上拿到满分或接近满分的视觉系统。
三个别的基准上同样通用:AI GameStore 成功率 99.04%,GameWorld 63.33%(人类对照是两名计算机系研究生),BabyVision 63.23%。
最意外的一笔
论文里最反直觉的数不在成绩单上,在账单上。
一张 64 乘 64 的文字网格,约 4000 个 token。同一帧画面渲染成 512 乘 512 的图,约 308 个图像 token。把图变成文字,不丢结构,还贵 13 倍。整局游戏算下来,文字版用了 7190 万 token,图像版 3070 万。
「一张图胜过千言万语」这句老话,在这里被精确化了:一张图顶它自己的文字描述 13 倍。多年来大家把游戏转成文字再喂给模型,既丢了画面的空间结构,又付了更贵的 token。
尾注
论文里挂的代码仓库目前还是 404,早期版本是今年八月的一篇博客。核心模型没有变化,变的是待遇:给它看得见的界面,和一本翻得动的相册。满分靠的不是更聪明的脑子,是终于把眼睛和记性补齐了。
308 对 4000——图比文字便宜,这件事值得记一辈子。