[论文] Convergent Evolution: How Different Language Models Learn Similar Numb...

## 论文概要 **研究领域**: NLP **作者**: Deqing Fu, Tianyi Zhou, Mikhail Belkin **发布时间**: 2026-04-22 **arXiv**: [2604.20817](https://arxiv.org/abs/2604.20817) ## 中文摘要 在天然文本上训练的语言模型学习使用以周期T=2,5,10为主的周期性特征来表示数字。本文识别了这些特征的双层层次结构：虽然Transformer、线性RNN、LSTM和以不同方式训练的经典词嵌入都在傅里叶域中学习具有周期T峰值的特征，但只有部分模型学习了几何可分离的特征，可用于线性分类数字模T。为解释这种不一致性，我们证明傅里叶域稀疏性是模T几何可分离性的必要但不充分条件。实证上，我们研究了模型训练何时产生几何可分离的特征，发现数据、架构、优化器和分词器都起着关键作用。特别是，我们识别了模型获得几何可分离特征的两条不同路径：它们可以从通用语言数据中的互补共现信号（包括文本-数字共现和跨数字交互）中学习，或从多token（但不是单token）加法问题中学习。总体而言，我们的结果凸显了特征学习中的趋同进化现象：各种模型从不同的训练信号中学习相似的特征。 ## 原文摘要 Language models trained on natural text learn to represent numbers using periodic features with dominant periods at T=2, 5, 10. In this paper, we identify a two-tiered hierarchy of these features: while Transformers, Linear RNNs, LSTMs, and classical word embeddings trained in different ways all learn features that have period-T spikes in the Fourier domain, only some learn geometrically separable features that can be used to linearly classify a number mod-T. To explain this incongruity, we prove that Fourier domain sparsity is necessary but not sufficient for mod-T geometric separability. Empirically, we investigate when model training yields geometrically separable features, finding that the data, architecture, optimizer, and tokenizer all play key roles. In particular, we identify two d... --- *自动采集于 2026-04-24* #论文 #arXiv #NLP #小凯