[论文] Telescopic Language Models

研究领域: NLP 作者: Zhilin Guo, Boqiao Zhang, Hakan Aktas, Kyle Fogarty, Nursena Koprucu Aslan, Wenzhao Li, Canberk Baykal, Albert Miao, Siyu Hong, Yixiao Liu, Adam…

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: NLP 作者: Zhilin Guo, Boqiao Zhang, Hakan Aktas, Kyle Fogarty, Nursena Koprucu Aslan, Wenzhao Li, Canberk Baykal, Albert Miao, Siyu Hong, Yixiao Liu, Adam Wu, Ashish Kumar Singh, Sakar Khattar, Chenliang Zhou, Weihao Xia, Cristina Nader Vasconcelos, Cengiz Oztireli 发布时间: 2026-09-28 arXiv: 2609.35769

中文摘要

一个已部署的语言模型通常需要服务多种算力预算,但为每个预算点服务仍意味着每次都要单独训练或压缩。我们训练了望远镜式语言模型(TLM)来作为连续体:一种通过随机前缀监督与全容量锚点进行监督的嵌套容量 Transformer。每一步中,容量轴上一个随机截断的前缀在全量下一 token 目标下训练,同时进行一次全容量前向-反向传播,因此训练产物在每一层深度上都是有效的语言模型。每步仅需两次前向-反向传播,无需架构改动,推理时零额外开销。固定出口套件(如 Matryoshka LM 套件)只是该设计空间中的一个点,且代价高昂:仅监督少数固定出口会使嵌套模型在其余深度上处于随机水平(我们的基线困惑度为 10²-10⁵)。在 200M 代理套件上(20B FineWeb-Edu token,所有方法使用相同数据流),单次 TLM 运行在其全部二十层前缀的每一层上都是有效的语言模型,在困惑度和困惑度敏感的下游任务上均表现良好,相对于固定出口套件将质量-预算曲线下面积减少 43-44%,在全容量处与它们持平,同时每次运行 GPU 成本低约 12%。前缀采样密度是一个调节旋钮:集中在少数深度可恢复该处的固定出口质量,但代价是失去连续性。这些结果表明,是训练目标而非嵌套本身使模型具有弹性。

原文摘要

One deployed language model must often serve many compute budgets, yet serving each budget still means a separate training or compression run per point. We train a Telescopic Language Model (TLM) to be that continuum: a nested-capacity Transformer supervised by stochastic prefix supervision with a full anchor. At every step, one randomly truncated prefix of the capacity axis is trained against the full next-token target, alongside one full-capacity pass, so the trained artifact is a valid language model at every depth. Two forward-backward passes per step, no architectural change, nothing extra at inference. Fixed-exit suites such as Matryoshka Language Model Suites (MLMS) occupy one point in this design space, and the point has a cost: supervising only a few fixed exits leaves the nested ...


*自动采集于 2026-09-30*

#论文 #arXiv #NLP #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

摘要挑的那句话,把最硬的两个数盖住了

同一根模型,二十个关机点

一、那个指标不是「面积」,方向也要说清。

论文里它叫 AULB(area under the loss–budget curve):对 token NLL 在整数前缀网格 k = 1…N 上做梯形积分,再除以网格跨度 N − 1 = 19,回到平均 NLL 的量纲,越低越好。TLM(均匀采样)是 3.28,四套 MLMS 落在 5.73–5.90,降幅 43–44% 对得上。换成 FLOP 加权 / 中位数 / 部署区间三种口径复算,差距仍在同一条带里(论文写 30–44%),这点做得比较老实。

二、真正该当头条的是「每个档位的成本」。

摘要只说「每次运行 GPU 成本低约 12%」,那是拿 131 对 149 比。把逐项账单摆开(1 张 A100、200 亿 token、双方都关蒸馏):

  • 传统 3 模型套件:216 GPU-h,3 个可用档位,72 GPU-h 每档
  • MLMS 无蒸馏:149,3 档,50
  • MLMS 加蒸馏:182–185,3 档,61–62
  • TLM(均匀 π):131,20 档,6.5
总账 12% 的背后,是每个可用档位从 50 降到 6.5,接近八倍。摘要里那个「12%」把这篇最强的卖点写没了。

三、MLMS 在 k = 1 那一格,比掷骰子还糟。

摘要写「其余深度上处于随机水平(困惑度 10²–10⁵)」,正文给了具体数:k = 5 是 1,412;k = 1 是 438,883,而随机水平是 49,152(等于词表大小)。也就是说 k = 1 那格连均匀噪声都不如,不是「随机水平」而是「比随机更差」。这个层次感在中文摘要里完全丢了。

它也给了对手一条台阶:只微调 head 能把 k = 5 救回 177 PPL,但比训练过的 TLM 前缀还是差约六倍。

再补一个很好用的对照:TLM 在 k = 13(50M 与 100M 两个出口之间)是 22.6 PPL,几乎追平 MLMS 在它自己 50M 出口的 21.89;而 MLMS 在 k = 13 崩到 285 PPL。

四、「是目标不是嵌套」这句话有反证,而且反证是它自己做的。

log-uniform 采样器让 k = 1 的测度为零(从未被采样),它自己在那一格就崩到 6,740 PPL;exit-grid 采样器放弃连续性之后,非出口也回落到 MLMS 水平(k = 5 是 2,693)。同一个嵌套架构,换采样分布就换命运——这比任何论证都干净。

五、代价也写在表上,别漏。

全容量处 TLM 是 14.99 PPL,MLMS 四套是 14.96–15.42,确实打平;但单独训一份同规模原生模型是 13.98,MLMS 差 7.1%、TLM(exit-grid)差 4.8%。「一个模型服务二十个预算」不是白拿的,它换掉的是一部分峰值质量。摘要那句「在全容量处与它们持平」说的只是跟 MLMS 持平,不是跟原生模型持平。

六、工程侧的实况。

论文给的 Code 链接是个 2026-09-27 建、2 次提交、135 KB、0 星的仓库(Apache-2.0),比 arXiv 提交只早一天。架构上「二十层」具体是 11@320 + 5@576 + 4@960 三档宽度、共 20 个 block;三个 MLMS 出口 k = 11 / 16 / 20 分别用满模型 17% / 43% / 100% 的层 FLOPs。理解那张曲线的横轴时,这个换算比「二十层」三个字有用。

下一根钉子

最该盯的是 π 的取法。均匀 π 让 k = 1 有效但两端都不占优;exit-grid 把出口质量拿回来却丢了连续体。中间那件事——按预算分布加权 π(让每个档位的采样质量和它的调用频率成正比)——论文没做,而这才是「服务多种算力预算」这句话真正的落地方式。谁先补上这条,谁就能把 6.5 GPU-h 每档再压一截。

暂无表态

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens