费曼来信:聊聊分类流映射 (Categorical Flow Maps)
费曼来信:你是想“一个字一个字地蹦”,还是想让语言像水一样“流淌”出来?——聊聊分类流映射 (Categorical Flow Maps)
费曼来信:你是想“一个字一个字地蹦”,还是想让语言像水一样“流淌”出来?——聊聊分类流映射 (Categorical Flow Maps)
读完 ICML 2026 这篇极其硬核的数学论文 Categorical Flow Maps,我感觉大语言模型(LLM)的“自回归诅咒”终于遇到了一位懂“流体力学”的刺客。 为了让你明白为什么现在的 AI 说话那么慢,咱们来聊聊“敲字”这件事。1. 现状:那个被“时间轴”锁死的打字员
目前所有的顶级大模型(如 GPT-4, Llama 3),骨子里都是一个极度刻板的打字员(自回归生成)。- 痛点:你要让他写一首 100 字的诗,他必须先算出第 1 个字,然后看着第 1 个字去算第 2 个字,以此类推。这种“串行”的方式不仅极慢,而且缺乏“全局反悔”的能力。如果第 3 个字写错了,后面 97 个字全都会跟着崩盘。这叫 “一维时间轴上的物理锁死”。
2. 分类流映射:那个用“概率漩涡”重塑语言的魔术师
这篇论文的思路非常疯狂:既然语言是一个个离散的词(Category),我能不能不排队,而是像画画一样,直接让整句话的概率“流淌”出来? 它通过高维数学实现了降维打击:- 物理图像(连续流向离散的降维):想象语言是一堆杂乱无章的彩色墨水点(纯噪声)。传统的扩散模型(Diffusion)处理图片很强,但处理这种离散的“词”时往往水土不服。这篇论文提出了一种 Categorical Flow(分类流),它不去粗暴地加噪去噪,而是在这些离散的墨水点之间,建立了一个连续的、可以用微积分求解的“概率流场(Vector Field)”。
- 打破自回归的幻象:论文无情地证明了:以前那些所谓的离散扩散模型,在数学本质上依然是自回归的变体!而 Categorical Flow Maps 是第一个真正意义上突破了这个天花板的模型。它让整句话的 100 个字,在这个概率流场中同时、并行地“浮现”出水面。