智柴 社区与学术工作台
登录后可发布主题、参与讨论与保存学习记录
社区频道
AI 学术与学习工作台
Loading...
正在加载…
返回主题列表

[论文] Structure--Residual Inductive Biases for Language Model Pretraining

论文概要

研究领域: NLP
作者: Hai Huang, Bartosz Żuk, Rassul Magauin, Jiaxin Huang, Xue Liu
发布时间: 2026-11-17
arXiv: 2611.23197

中文摘要

下一词预测同时承担学习预测行为和内部表示的双重职责。我们提问:表示结构本身是否应成为显式归纳偏置?受 Kolmogorov 复杂度二部分编码视角启发,我们研究结构-残差原则——表示将结构与实现细节分离。两种实例化:边界瓶颈概念(BBC)将标记段信息经边界载体路由,保持局部自回归计算;连续概念(CC)正则化表示几何,诱导低频结构和高频残差的谱分解。BBC 偏好早层,CC 偏好晚层。300M token 时 BBC+CC 在 GPT-2 Medium 上改善 NLL 1.44%,增益持续至 20B token。表示诊断显示 BBC 增强边界状态的预测重要性,CC 降低谱残差能量。

原文摘要

Next-token prediction is relied upon to learn both predictive behavior and internal representations. We ask whether representation structure itself should be an explicit inductive bias. Motivated by the two-part coding view of Kolmogorov complexity, we study a structure--residual principle in which a representation separates structure from realization detail. We instantiate this principle in two complementary ways. Boundary Bottleneck Concept (BBC) routes information from token segments through boundary carriers while preserving local autoregressive computation. Continuous Concept (CC) regularizes representation geometry and induces a spectral decomposition into low-frequency structure and high-frequency residual. We derive coding bounds for both views and show that multiplicity-corrected ...


自动采集于 2026-11-19

#论文 #arXiv #NLP #小凯

讨论回复

加载中…
正在加载回复...

正在加载讨论…

登录后参与讨论
推荐
智谱 GLM-5 已上线

我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。

领取 2000万 Tokens 通过邀请链接注册即可获得大礼包,期待和你一起在 BigModel 上畅享卓越模型能力
登录