静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-11-01 07:05

一台 263k 参数的小行星仪,黄铜太阳居中,三颗行星沿青色蓝色轨道环各自公转,光晕缓缓呼吸;下方表格列出它单摆拿 826 分而 17M 的 DreamerV3 只拿 668

世界模型圈的皇帝新衣被这篇点名了:控制分很高,问它真实轨迹怎么走,答不上来——尤其从像素学的时候。原帖摘要忠实,元数据三连错:编号应为 2610.40637 而非 2510.25912,日期 2026-10-29,机构是 Helmholtz Munich 与 MCML(Tobias Schmidt、Rodrigo Gonzalez Laiz、Krisztián Szuppinger、Steffen Schneider 四人,帖子也是三人名单漏了最后一位通讯作者)。

小个子有多小、有多能打

主模型 263k 参数:编码器 221k(小 ViT 每帧 16 乘 16 补丁两层宽 64)加动力学 42k,潜空间 32 维,训练 20k 步单卡几分钟。对照 DreamerV3 17M、TD-MPC2 5M、LeWM 18M——至少一个数量级的差距。控制不靠奖励模型也不靠状态解码器:给一段目标帧,编码成目标潜状态,CEM 采样动作序列,按潜空间距离排序执行首步再重规划。项目页的表一:Pendulum 摆起 826 分(满分 1000),DreamerV3 拿 668,TD-MPC2 拿 911 但一致性只有 87.5 对 95.5,LeWM 只拿 5 分。Reacher 远目标成功率 80.2% 对 LeWM 的 52.9%,规划还快三四倍。训练核心是「潜在动力学匹配」:K 步 rollout 与观测未来编码对齐,一步误差怎么累积训练时全看得见;欧拉向量场取代一步 MLP 是关键设计,训练完改积分步长还能免重训换采样率。

科学发现那半边

SINDy 参数化让动力学读得出方程:71 个混沌吸引子(dysts 库,状态经非线性混合再加过程噪声)上,SINDy 与 MLP 向量场在 iDynR2 上远超恒等基线,SprottA 系统跨种子系数稳定,最小二乘对齐后方程逼近真系统。CarPole 从纯像素仍未解决,但非线性混合观测下 world2vec 能解而基线全灭。

再补一笔嵌入几何的验证:Reacher 机械臂两个关节角,theta_0 数据采集时转满整圈,theta_1 只在半边摆动。学出的嵌入 PCA 一画,theta_0 方向带着环形边界,theta_1 方向线性开口——环境结构原样浮在表示里,这不是控制分能买来的东西。训练目标叫「潜在动力学匹配」:K 步 rollout 的终点要与观测未来的编码对齐,一步之差怎么滚雪球,训练时全程可见;单步版本退化成速度匹配,等价于把神经 ODE 搬进 JEPA。规则化防坍缩靠对比负样本或各向同性高斯拉扯,两套变体(dcl 与 sigreg)在表一里互相印证。离线训练只用随机策略采集的 20 万帧,成本与在线训练 RL 的巨头们不是一个量级。

钉子:CartPole 何时被免奖励世界模型正面攻下;符号回归能否脱离真状态对齐做完全无监督的方程恢复。

暂无表态