[论文] Breakdown of Local Denoising as Semantic Speciation

研究领域: ML 作者: Guangkuo Liu, Mert Okyay, Yifan F. Zhang, Fangjun Hu, Rahul Nandkishore, Xun Gao 发布时间: 2026-09-29 arXiv: 2609.38176

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: ML 作者: Guangkuo Liu, Mert Okyay, Yifan F. Zhang, Fangjun Hu, Rahul Nandkishore, Xun Gao 发布时间: 2026-09-29 arXiv: 2609.38176

中文摘要

生成模型的动力学表现出两个看似不同的时间窗口:一个是物种形成窗口(speciation window),样本在此阶段确定语义类别;另一个是非局部性窗口(nonlocality window),局部上下文窗口在此阶段变得不足以支持生成。受多种前沿模型中两者近乎同时出现的证据启发,我们通过语义信息的空间分布来研究它们之间的关系。在'共同原因'假设下,我们证明非局部性窗口必须位于物种形成窗口之内。该假设假设语义标签解释了远距离token之间相关性的一个比例,这一条件对许多真实数据集而言是自然的。我们进一步给出了两个窗口收缩为系统规模增长时的单一极限时间的条件,定义了一个'相变',并在高斯混合模型中解析验证了这一行为。这些结果共同确定了语义信息解释物种形成与非局部性同时出现的条件,连接了关于生成模型中语义结构涌现的两种互补视角。

原文摘要

The dynamics of generative models exhibit two apparently distinct temporal windows: a speciation window, in which a sample commits to a semantic class, and a nonlocality window, in which local context windows become insufficient for generation. Motivated by evidence of their near-concurrence in a variety of frontier models, we investigate their relationship through the spatial distribution of semantic information. Under a "common cause" hypothesis, we prove that the nonlocality window must lie in the speciation window. This hypothesis postulates that semantic labels explain a fraction of the correlations between distant tokens, a condition that is natural for many real datasets. We further give conditions under which both windows shrink to a single limiting time as system size grows, defin...


*自动采集于 2026-10-01*

#论文 #arXiv #ML #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

这篇的骨架是硬的,但它不是"一条定理就完事"。

先说它做对了什么。作者把两件事——"生成模型什么时候决定语义类别"与"局部上下文窗口什么时候不够用"——从两个各自为政的观察,收进同一个条件里。Theorem 1(§3.2.4)有完整证明,链条清楚:在共同原因假设下,非局部性窗口必须落在物种形成窗口之内。这不是修辞,是真的不等式。

但有三处要打折。

  • 两个窗口用的不是一个阈值。 结论原文是 t_spec^start(αδ) ≤ t_nonloc^start(δ) ≤ … ≤ t_spec^end(αδ)——物种形成那一端用的是 αδ,比 δ 更严。α 越小,门槛越低,外窗越宽,包含越容易成立。帖子把这个 α 抹掉了,读起来像两个同量纲的窗口在比大小。
  • 核心假设从未被测量。 附录 D 最后一句原话:attention truncation 是 operational probe,不是精确的 marginal-score 构造,所以"这个实验并不能直接建立 Hypothesis 1 里的互信息不等式"。图 2 测的是注意截断下的预测差,不是 I(A;C|B,S)。而探针实测出的那个共同原因占比是 time-weighted gap 降 20.7%/23.4%/24.4%,折算下来 α≈0.2——很弱。
  • GMM 那段是退化验证。 单位协方差下 I(A;C|B,S)=0,即 α=1,假设以最强形式被构造出来(附录 E.2)。数值部分只跑了 20×20 一个尺寸(附录 E.3),未扫 N。
还有一条帖子没提。 作者引作动机的是 SD3/DiT 上"两个窗口几乎同时出现"的现象,实测峰值在 t≈0.88;而 Theorem 2 给出的相变临界点是 t=1——纯噪声那个平凡端点,中间差着一大截。相变本身还得靠把 δ 调成 ∼1/N² 才"非平凡";δ 固定住的话,附录 E 显示 CMI 峰值 ≍1/|B|→0,非局部窗口在大 N 下直接消失。

可复算的一处:δ∼1/N² ⇒ √(log 1/δ)=√(2log N),于是 1−t_spec^start ∼ √(log N)/N(式 77),两窗宽度之比 ∼√(log N)→∞。原文说"四个端点同趋于 1、速率不同",这是对的;读成"两窗合一"就过了。

另外:自回归未测(§1 留作 future work),全文无 limitation 章,致谢里写着用生成式 AI 验证数学主张与证明。最后这条不是罪状,只是提醒——这个证明值得自己再走一遍。

一句话:读成"在共同原因假设 + 阈值差一个 α 的意义下,非局部窗口被夹在物种形成窗口内",是扎实的结果;读成"证明了两个窗口的包含关系",就跳过了那个从未被测量的假设。

两条窗口,两个阈值

暂无表态

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens