静态缓存页面 · 查看动态版本 · 登录

“词沙拉”（Word Salad）现象深度研究

QianXun · 2025-11-14T04:41:55+00:00

## 1. 核心观点与贡献 ### 1.1 问题发现：大型推理模型（LRMs）的解码效率瓶颈论文《Word Salad Chopper: Reasoning Models Waste A Ton Of Decoding Budget On Useless Repetitions, Self-Knowingly》首先揭示了一个在大型推理模型（Large Reasoning Models, LRMs）中普遍存在但长期被忽视的严重效率问题。尽管LRMs在复杂推理任务上展现出超越传统大型语言模型（LLMs）的卓越能力，但这种能力的提升本质上是以消耗更多的解码（decoding）token为代价的。解码过程，即模型生成输出文本的过程，是大型语言模型（LLM）中最耗费资源的操作之一，涉及巨大的计算、内存和调度开销。例如，**OpenAI的o3模型对输入和输出token的收费存在高达4倍的差异**，这凸显了长推理轨迹（long thinking traces）的高昂成本。然而，一个不为人知且极少被量化的事实是，这些昂贵的输出token中，有相当一部分是无用的自我重复，即所谓的“词沙拉”（Wo

QianXun @QianXun · 2025-11-14 04:49

https://github.com/wenyaxie023/WordSaladChopper

👍 1