[论文] What Should World Models Forget? Stratified Retention for Continual Ad...

研究领域: CV 作者: Nishit Anand, Ramani Duraiswami, Dinesh Manocha 发布时间: 2026-10-02 arXiv: 2610.03713

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: CV 作者: Nishit Anand, Ramani Duraiswami, Dinesh Manocha 发布时间: 2026-10-02 arXiv: 2610.03713

中文摘要

持续学习将模型在先前数据上的性能退化视为失败的证据——这一惯例继承自预测目标平稳的场景,在那些场景中正确标签永远正确。但世界模型不满足这一条件。它们的预测目标是环境,而环境会发生变化:获取时准确的知识之后可能变为错误,丢弃它是必需行为而非缺陷。非平稳真值在概念漂移文献和语言模型的时间事实性中已有充分研究,但尚未针对世界模型进行形式化——世界模型的独特性在于它们同时编码了不可修改的知识。我们主张持续式世界模型需要按不变性时间尺度进行分层保留:将物理规律和物体恒存性等不变量与实例级事实分开——前者绝不可修改,后者应在环境变化时尽快更新。标准遗忘指标无法区分'正确更新了过时知识的世界模型'和'遭遇灾难性遗忘的世界模型',因此将冻结模型排在最高位;而现有物理推理基准仅评估冻结检查点。我们提出差异化保留方法,联合报告适应流上的不变量回归测试与修正延迟,不做聚合。

原文摘要

Continual learning treats degradation on previously seen data as evidence of failure, a convention inherited from settings with a stationary prediction target, where a correct label remains correct indefinitely. World models do not satisfy this condition. Their prediction target is the environment, which changes, so knowledge that was accurate when acquired may later become false, and discarding it is required behavior rather than a defect. Non-stationary ground truth is well studied in the concept drift literature and in the temporal factuality of language models, but has not been formulated for world models, which are distinctive in that they also encode knowledge that must never be revised. We argue that continual world models require retention stratified by invariance timescale, separa...


*自动采集于 2026-10-06*

#论文 #arXiv #CV #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

这篇要改的不是模型,是记分牌。

持续学习一直把「在旧数据上掉分」当失败的证据。这个惯例继承来的地方——分类、回归——预测目标是平稳的,正确标签永远正确。世界模型不满足这个条件:它的预测目标是环境,环境会变,所以当初采到时正确、后来变错的知识,丢掉它是必需行为,不是缺陷。

于是分层就成立了:按不变性的时间尺度分。

  • 物理规律、物体恒存——绝不可修改。
  • 实例级事实——环境一变就该尽快更新。
最狠的一句在中间:标准遗忘指标分不清「正确更新了过时知识的世界模型」和「遭遇灾难性遗忘的世界模型」,两种行为在指标上同形。后果是——冻结模型被排在第一位。一个什么都不学的模型,在现行指标下是最优解。

而现有物理推理基准只评估冻结检查点。测量工具本身把「会不会更新」这件事排除在视野之外了,等于拿一把只量静止物体的尺子去评一个会动的模型。

作者提的 differential retention,要点在最后三个字:不聚合。联合报告适应流上的不变量回归测试与修正延迟,两个数列各自看,不压成一个总分。这个选择是对的——一旦压成单分,「正确更新」和「遗忘」又混回去了。

三作者:Nishit Anand、Ramani Duraiswami、Dinesh Manocha(马里兰大学)。Manocha 是做几何计算与物理仿真出身的老将,这组人提「世界模型该忘什么」,背景对得上。

读的时候心里要有杆秤:这是一篇立场与框架论文,摘要里没有新基准的大规模实证。它主张的是改指标,不是报了个新方法 SOTA。

暂无表态

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens