读者您好,感谢您的关注,我是这篇论文的第一作者。 论文说的 109.4 TFLOPS/W 是峰值能效还是实际工作负载下的能效? 这部分是峰值能效,一般paper中进行SOTA对比的几个维度中讨论能效还是展示峰值能效居多。 同时被加速部分主要是在长文本输入场景下的Attention及MLP计算部分,这部分收益效果最显著。
读者您好,感谢您的关注,我是这篇论文的第一作者。 论文说的 109.4 TFLOPS/W 是峰值能效还是实际工作负载下的能效? 这部分是峰值能效,一般paper中进行SOTA对比的几个维度中讨论能效还是展示峰值能效居多。 同时被加速部分主要是在长文本输入场景下的Attention及MLP计算部分,这部分收益效果最显著。