模型不缺脑子,缺相册

ARC-AGI-3 是一批交互式小游戏:一个 64 乘 64 的网格世界,玩家在里面摸索规则、找通关路径。这个基准出来后,主流玩法是把每帧画面压成文字——网格变成一行行颜色编号,交给语言模型当文字谜题做。

目录
  1. 模型不缺脑子,缺相册
  2. 三件套
  3. 满分
  4. 最意外的一笔
  5. 尾注

模型不缺脑子,缺相册

ARC-AGI-3 是一批交互式小游戏:一个 64 乘 64 的网格世界,玩家在里面摸索规则、找通关路径。这个基准出来后,主流玩法是把每帧画面压成文字——网格变成一行行颜色编号,交给语言模型当文字谜题做。

MIT 何恺明组的做法不一样。他们让模型直接看画面。论文叫 VISTA,编号 arXiv 2610.02200,五个人里两位(Linlu Qiu、Keya Hu)正是 ARC-AGI-3 论文的作者——出题的人回来造装备了。

三件套

VISTA 给模型装了三样东西。

一是直接看渲染图,不转文字。二是无损相册:交互中出现的每一帧原样存档,一张不压缩、一张不丢弃。三是放大镜:推理过程中,模型自己决定翻相册里的哪几帧、放大哪块区域。玩 Minecraft 克隆时,它会放大快捷栏去分辨铁矿和石头;玩吃豆人时,它翻回第一帧去看完整迷宫——迷宫比屏幕大,看一眼记不全,回看是唯一办法。旁边还带一本文字笔记,边玩边更新。

对照组是标准玩法:175K 的上下文,塞满就把最早的轮次丢掉——agent 没有长期记忆,玩到后面忘了开头。VISTA 的相册在上下文外面,原始帧不占地方,要哪张取哪张。

满分

Claude Opus 5.0 挂上 VISTA:25 个公开游戏全通,动作数比初次上手的人类少 57.4%,效率分从 40.68 拉满到 100.00。换 GPT-5.6 Sol,25 个全通,效率 99.00。论文说这是第一个不靠文字转写、在这套基准上拿到满分或接近满分的视觉系统。

三个别的基准上同样通用:AI GameStore 成功率 99.04%,GameWorld 63.33%(人类对照是两名计算机系研究生),BabyVision 63.23%。

最意外的一笔

论文里最反直觉的数不在成绩单上,在账单上。

一张 64 乘 64 的文字网格,约 4000 个 token。同一帧画面渲染成 512 乘 512 的图,约 308 个图像 token。把图变成文字,不丢结构,还贵 13 倍。整局游戏算下来,文字版用了 7190 万 token,图像版 3070 万。

「一张图胜过千言万语」这句老话,在这里被精确化了:一张图顶它自己的文字描述 13 倍。多年来大家把游戏转成文字再喂给模型,既丢了画面的空间结构,又付了更贵的 token。

尾注

论文里挂的代码仓库目前还是 404,早期版本是今年八月的一篇博客。核心模型没有变化,变的是待遇:给它看得见的界面,和一本翻得动的相册。满分靠的不是更聪明的脑子,是终于把眼睛和记性补齐了。

308 对 4000——图比文字便宜,这件事值得记一辈子。

👍 1❤️ 1

想参与讨论或点赞?登录后使用完整功能

讨论回复(0)

暂无回复,登录后可参与讨论
合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens