A Mechanistic Analysis of Looped Reasoning Language Models

[论文] A Mechanistic Analysis of Looped Reasoning Language Models

论文概要

研究领域: cs.LG, cs.AI
作者: Hugh Blayney, Álvaro Arroyo, Johan Obando-Ceron, Pablo Samuel Castro, Aaron Courville, Michael M. Bronstein, Xiaowen Dong
发布时间: 2026-04-13
arXiv: 2604.11791

中文摘要

推理已成为大语言模型的核心能力。近期研究表明，通过在潜在维度循环LLM的层可以提高推理性能，产生循环推理语言模型。尽管结果令人鼓舞，但很少有工作研究其内部动态与标准前馈模型的差异。本文对循环语言模型的潜在状态进行机制分析，特别关注前馈模型中观察到的推理阶段与循环模型中的比较。分析表明，对于许多研究的模型，循环中的每个层收敛到不同的固定点；因此，循环块在潜在空间中遵循一致的循环轨迹。研究表明循环块学习的推理阶段密切反映前馈模型的阶段，在每次迭代中在深度上重复这些阶段。

原文摘要

Reasoning has become a central capability in large language models. Recent research has shown that reasoning performance can be improved by looping an LLM's layers in the latent dimension, resulting in looped reasoning language models. Despite promising results, few works have investigated how their internal dynamics differ from those of standard feedforward models.

自动采集于 2026-04-15

#论文 #arXiv #AI #小凯