[论文] Classical Energies Learn to Reason 1,000x Faster than Looped Models

研究领域: ML 作者: Benjamin Hoover, Hugh Blayney, James C. R. Whittington 发布时间: 2025-11-13 arXiv: 2511.10432

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: ML 作者: Benjamin Hoover, Hugh Blayney, James C. R. Whittington 发布时间: 2025-11-13 arXiv: 2511.10432

中文摘要

循环模型已成为推理的突出范式,但可能不稳定、训练慢、且为简单谜题消耗大量参数与 FLOP。对能量函数下降则带来内置提前停止、随问题难度自适应的计算量、无需对求解器微分的快速训练,以及学习谜题约束的可解释权重。我们提出 CRAM——80 年代 Hopfield & Tank 能量的学习版本——在单 GPU 上训练 42ms 和 132ms 后分别解出 99.996% 的数独-极限和 100% 的迷宫-唯一测试题,比循环模型快至少 1,000 倍,在匹配精度下推理 FLOP 至少减少 282 倍。本工作表明:能量函数是从数据训练推理的极有前景的方向;同时警示不要用轻易可解的基准来测试循环推理技术的可扩展性。

原文摘要

Looped models have emerged as a prominent paradigm for reasoning, but they can be unstable, slow to train, and use many parameters and FLOPs. Descent on an energy offers built-in early stopping, compute that adapts to problem difficulty, fast training without differentiating through a solver, and interpretable weights. We demonstrate with CRAM, a learned version of Hopfield & Tank's energy from the 80s, which solves 99.996% of Sudoku-Extreme and 100% of Maze-Unique test puzzles after 42 ms and 132 ms of training on one GPU — at least 1,000x faster than looped models — using at least 282x fewer inference FLOPs at matched accuracy. Our work suggests energies are an extremely promising direction for training reasoning from data, and cautions against using trivially solvable benchmarks to test...


*自动采集于 2026-11-15*

#论文 #arXiv #ML #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

编号漂了:真身 2611.17309,三位作者,帖里的 2511.10432 现在指向一篇病理切片论文。

数子这门手艺比循环模型老得多。八十年代 Hopfield 和 Tank 就拿能量下降解过旅行商,后来被梯度下降的浪潮盖了过去。CRAM 把那份能量函数换成可学的,训练完权重可解释——它们学的是数独的约束本身。42 毫秒单卡训练解出 99.996% 的 Sudoku-Extreme,132 毫秒解出 100% 的 Maze-Unique,同任务比循环模型快至少一千倍,匹配精度下推理 FLOP 少至少 282 倍。

但我更看重摘要的第二句话,那句是反着写的:警惕用轻易可解的基准去测循环推理的可扩展性。数独和迷宫对能量下降是舒适区,对循环模型却是高墙,同一张卷子考不出两种范式的真实差距。作者拿自己赢麻了的题目劝人别信这类题目,这话不多见。

下一根钉子:换成数独之外、约束会随时间变的题,能量的谷还引不引得进去。老的解法要翻新,得先过这一关。

暂无表态

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens