当一块 55nm 老芯片跑出 135 token/s:ReRAM-on-Logic 堆叠的 LLM 推理加速器
想象你手里有一块 2010 年代水平的 55nm 工艺芯片——比不上台积电 3nm 的零头。然后你被告知,这块芯片在跑 70 亿参数的大语言模型推理时,输出速度能达到每秒 135 个 token。这不是科幻,这是 ISSCC 2026 上一篇论文展示的真实结果。
为什么 55nm 能跑 LLM?
大模型推理的瓶颈从来不是逻辑运算,而是搬数据。每次生成一个 token,模型需要把几十 GB 的权重从存储器搬到计算单元。传统方案用 HBM(高带宽内存)——又贵又难造,还依赖先进封装。这篇论文走了一条完全不同的路:用 ReRAM(电阻式随机存取存储器)直接堆在逻辑电路上方。
ReRAM 有三个关键特性:密度比 SRAM 高得多(同样的面积能存更多权重)、功耗比 DRAM 低(不需要刷新)、而且可以和逻辑层做面对面垂直堆叠。这就像把仓库直接建在工厂车间顶上——不需要卡车运输,用一部电梯就够了。
论文用 bumping 式面对面 bonding 把 ReRAM 芯片和 55nm 逻辑芯片贴在一起,通过 TSV(硅通孔)连接。这种架构下,权重几乎不需要移动——它们就待在计算单元上方,推理时直接"从天花板掉下来"。
三个技术亮点
1. 局部旋转单元:消灭离群值
低比特量化(把 FP16 压成 INT4 或更低)是 LLM 加速的标配,但有个老大难问题:离群值。大模型权重中总有少量异常大的数值,直接量化会严重损失精度。传统方案用混合精度——离群值用高精度,其余用低精度——但这需要额外的硬件来识别和处理离群值。
这篇论文的思路是:与其识别离群值,不如消灭它们。局部旋转单元对权重做正交变换——可以理解为一个数学上的"旋转"操作——把离群值"摊平"到其他维度上。旋转后的权重分布更均匀,可以用更低的比特量化而不损失精度。这就像整理行李箱:不是给特别大的物品单独装箱,而是调整摆放角度让它也能塞进标准格子。
2. 块聚类向量压缩:减少权重搬运
即使 ReRAM 就在逻辑层上方,带宽仍然是瓶颈。论文提出块聚类压缩:把权重分块,每块内做向量量化——找到一组"代表向量",块内所有权重用对代表向量的索引来近似表示。这就像调色板压缩图片:不是存每个像素的颜色,而是存一个颜色表加索引。
关键创新是这种压缩和 ReRAM 的物理特性协同设计。ReRAM 的交叉阵列天然适合做矩阵-向量乘法,块聚类让每个阵列处理的计算量更均匀,避免了某些阵列过载而其他阵列空闲的情况。
3. 自适应并行推测解码:用小模型猜大模型
推测解码(Speculative Decoding)是 LLM 推理加速的经典技巧:用一个小模型快速生成草稿 token,大模型只需验证而非从头生成。传统实现是串行的——小模型生成一批,大模型验证一批,交替进行。
论文提出并行推测解码:小模型和大模型同时工作,通过乱序调度器(out-of-order scheduler)动态分配资源。当小模型猜对时,大模型的工作被跳过;当猜错时,大模型的结果覆盖错误猜测。自适应体现在调度器会根据当前接受率动态调整小模型和大模型的并行度——接受率高时多给小模型资源,接受率低时让大模型多干活。
14 和 135 之间的秘密
14.08 到 135.69 token/s 的跨度看起来很大,但这正是推测解码的特性。在"友好"场景下——小模型猜得准、序列较长、batch size 合适——接受率高,大部分 token 由小模型生成,速度冲到 135 token/s。在"困难"场景下——小模型频繁猜错、序列短、或者模型在生成需要精确推理的内容——接受率低,大模型频繁介入,速度降到 14 token/s。
4.46 到 7.17 倍的加速比(相对普通推测解码)说明并行化带来的收益是显著的。传统推测解码的时间花在小模型生成→等待→大模型验证→接受的串行循环上,并行化把等待时间消掉了。
55nm 的公平性问题
论文没有回避这个关键问题。55nm 确实是较老的工艺节点——台积电最新的 3nm 芯片在晶体管密度和能效上远超 55nm。但这篇工作的核心贡献不是"在 55nm 上跑出最快速度",而是验证 ReRAM-on-Logic 堆叠架构的可行性。
ReRAM 的密度优势在先进工艺下会更明显——存储密度随工艺进步而提升,而逻辑层的计算能力也在同步进步。如果把这套架构搬到 7nm 或 3nm 上,性能可能还有数量级提升。55nm 是一个"够用就好"的验证平台——足够展示架构创新,又不会因为先进工艺的制造成本让学术研究难以承受。
更大的图景:存算一体走到哪了?
这篇论文是存算一体(Processing-in-Memory, PIM)在 LLM 时代的一个重要里程碑。PIM 的核心思想是"让数据不动,让计算动"——把计算直接做在存储器里,消除数据搬运开销。ReRAM 天然适合 PIM,因为它的阻变特性可以直接表示权重,交叉阵列可以直接做矩阵乘法。
但 ReRAM PIM 面临几个现实挑战:写入耐久度有限(通常 10^6-10^8 次写入后退化)、写入速度慢、模拟计算的精度受噪声影响。这篇论文的聪明之处在于不把 ReRAM 当计算单元用,而是当存储单元用——计算仍在逻辑层做,ReRAM 只是"离计算最近的存储"。这避开了模拟计算精度问题,同时享受了高密度和低搬运开销的好处。
从工业角度看,这种架构对边缘推理特别有吸引力。云端推理可以用 HBM + 先进工艺,但边缘设备(手机、IoT、汽车)受限于功耗和成本,ReRAM-on-Logic 提供了一个在成熟工艺上实现大模型推理的路径。55nm 跑 135 token/s 的意义不在于绝对速度,而在于证明了不需要先进工艺也能跑 LLM。
总结
这篇论文展示了三个层面的创新:器件层面用 ReRAM-on-Logic 堆叠解决带宽瓶颈,算法层面用局部旋转消灭离群值让低比特量化更友好,系统层面用并行推测解码榨干硬件利用率。55nm 工艺不是限制,而是一个"如果老工艺都能跑,新工艺只会更好"的有力论证。
当大模型推理的硬件竞赛越来越集中在"谁的 HBM 更大、谁的工艺更先进"时,这篇工作提醒我们:架构创新的收益可能比单纯堆先进工艺更大。把仓库建在工厂顶上,比修更宽的公路更有效。
---
参考文献
1. Dong, P., Tan, Y., Liu, X., Luo, P., Liu, Y. (2026). *A 14.08-to-135.69Token/s ReRAM-on-Logic Stacked Outlier-Free Large-Language-Model Accelerator with Block-Clustered Weight-Compression and Adaptive Parallel-Speculative-Decoding*. arXiv:2605.09375. ISSCC 2026.
2. Chen, A. (2024). *ReRAM-based Processing-in-Memory for AI*. Nature Electronics.
3. Levi, T., et al. (2023). *Speculative Decoding for LLM Inference Acceleration*.