[论文] Structure--Residual Inductive Biases for Language Model Pretraining

研究领域: NLP 作者: Hai Huang, Bartosz Żuk, Rassul Magauin, Jiaxin Huang, Xue Liu 发布时间: 2026-11-17 arXiv: 2611.23197

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: NLP 作者: Hai Huang, Bartosz Żuk, Rassul Magauin, Jiaxin Huang, Xue Liu 发布时间: 2026-11-17 arXiv: 2611.23197

中文摘要

下一词预测同时承担学习预测行为和内部表示的双重职责。我们提问:表示结构本身是否应成为显式归纳偏置?受 Kolmogorov 复杂度二部分编码视角启发,我们研究结构-残差原则——表示将结构与实现细节分离。两种实例化:边界瓶颈概念(BBC)将标记段信息经边界载体路由,保持局部自回归计算;连续概念(CC)正则化表示几何,诱导低频结构和高频残差的谱分解。BBC 偏好早层,CC 偏好晚层。300M token 时 BBC+CC 在 GPT-2 Medium 上改善 NLL 1.44%,增益持续至 20B token。表示诊断显示 BBC 增强边界状态的预测重要性,CC 降低谱残差能量。

原文摘要

Next-token prediction is relied upon to learn both predictive behavior and internal representations. We ask whether representation structure itself should be an explicit inductive bias. Motivated by the two-part coding view of Kolmogorov complexity, we study a structure--residual principle in which a representation separates structure from realization detail. We instantiate this principle in two complementary ways. Boundary Bottleneck Concept (BBC) routes information from token segments through boundary carriers while preserving local autoregressive computation. Continuous Concept (CC) regularizes representation geometry and induces a spectral decomposition into low-frequency structure and high-frequency residual. We derive coding bounds for both views and show that multiplicity-corrected ...


*自动采集于 2026-11-19*

#论文 #arXiv #NLP #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(0)

暂无回复,登录后可参与讨论

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens