三亿六千万参数,假装一台电脑:WorldTUI 与字符网格里的世界模型

你按下一个键,屏幕变了一行。平时,决定这件事的是 shell、内核和一整套你从没见过的代码。在 WorldTUI 里,决定这件事的是一个 3.6 亿参数的小模型——它的后面什么都没有。没有 shell,没有文件系统,没有操作系统。按键进去,它猜屏幕该变成什么样。

目录
  1. 词表只有 333 个 token
  2. 自己跟自己对答案
  3. 文件系统住在第 7 层
  4. 边界与算盘

你按下一个键,屏幕变了一行。平时,决定这件事的是 shell、内核和一整套你从没见过的代码。在 WorldTUI 里,决定这件事的是一个 3.6 亿参数的小模型——它的后面什么都没有。没有 shell,没有文件系统,没有操作系统。按键进去,它猜屏幕该变成什么样。

它猜得像模像样:vim 能开,tmux 能分屏,Python 能跑,连贪吃蛇都会自己动。

这是 Simon Edwardsson 10 月 21 日发布的项目,灵感来自 DeepMind 的 Genie 3。世界模型的定义从来不在于画面多精美,在于一件事:状态能不能守恒。你在 vim 里改过的文件,退出再 cat,改动还在吗?Genie 3 用无数算力在视频世界里回答这个问题,WorldTUI 把同样的题目缩小到一张 32×96 的字符网格。缩到这么小是有理由的——终端世界的全部状态就摆在屏幕上,训练数据可以从真实 shell 里无限量、完美地生成,对错可以由机器判定。

词表只有 333 个 token

设计里藏着三件小巧思。

模型的输出别按文字流理解,它给出的是屏幕补丁:"第 0 行第 17 列,写个 l",外加光标位置。滚动屏幕用一条 COPY 指令,从上一屏直接抄行,滚屏成本从每行约 96 个 token 降到 3 个。还有一条 WAIT token,专门编码闲置时间——所以蛇不需要你按键也会爬。

整个词表 333 个 token:256 个字节、64 个行号,加几个特殊符。解码器挂着语法约束,保证每一步输出都是合法的屏幕更新,一个越界字符都写不出来。

自己跟自己对答案

训练数据在 Docker 里合成:33.6 万局会话、约 20 亿 token,随机用户名、随机主机名、虚构人格,每局塞 6 到 24 种活动,打字带 1.2% 的错误率,35% 的局从应用中间开始。底座是 Qwen2.5-Coder-0.5B,裁掉多余的 embedding,int4 量化后 208MB,塞进浏览器用 WebGPU 跑。

单纯模仿训练(SFT)撑不住。错误会复利:第 10 步猜错一个字符,第 11 步就在错误的屏幕上继续猜。解法是 DAgger 式自纠错——让模型自己玩,对照真实屏幕,只修"从已有真实信息可以推断"的错误。最后这个限定词是关键,修不了的错误硬学,等于奖励幻觉。三轮下来,PresetBench 从 24/47 抬到 38/47。全部成本:一块 RTX 4090,75 个 GPU 小时。

文件系统住在第 7 层

最漂亮的结果是一个解剖发现。只砍掉第 7 层,模型预测下一个 token 的准确率从 99.3% 掉到 98.9%——几乎没动静;但文件回读测试从 64/64 直接归零。也就是说,"这台电脑记得你写过什么"这件事,整个住在第 7 层里。

他们试着把这个能力蒸馏进小模型:保留第 1、7、15、22 层的 16 层学生网络,回读照样 64/64 全对,压到 4-bit 只有 138MB;换个层数组合,输出看着流畅,回读只剩 31/64——等于瞎蒙。蒸馏随后被放弃,因为 ShellBench 从 78 分掉到 65 分。

测试WorldTUI提示版 Qwen2.5-Coder-0.5BQwen3-0.6B
ShellBench(106 条命令)805260
文件回读(13 项)923

边界与算盘

边界要摆清楚。这不是一个可靠的文件系统:没见过的命令组合会穿帮,append 进去的行偶尔 cat 不出来,嵌套目录会让它迷路;Python 只会简单题,训练容器里没有网,复杂的库调用会幻觉出 GPT-3 时代画风的答案。

但这个项目的真正价值不在产品,在试验台。世界模型研究者第一次拿到一个 75 个 GPU 小时就能复现、每个错误都能机器判定的沙盘——"状态守恒"这个悬在空中的词,被拆成了 64/64 这样的硬数字。作者自己列的下一步是扩散式屏幕更新。值得盯的是这条路线的推论:如果 360M 就能守住一张终端,什么规模的模型能守住一张驾驶舱?

信源与限定:本文全部技术细节出自作者博客(simedw.com,2026-10-21);各项得分为作者自测口径,PresetBench 与 ShellBench 均为其自建或改编基准;层 7 实验为消融实验单例,样本量以其文中为准;项目未经同行评审。

参考

  • Simon Edwardsson:WorldTUI — I trained a 360M model to pretend to be a terminal(2026-10-21)
  • Hacker News 讨论串,item 50190363(609 分)
暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(0)

暂无回复,登录后可参与讨论
合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens