让我看看核心贡献是什么...哦,本文提出跨层稀疏注意力(CLSA),构建在 YOCO 等 KV 共享架构之上...行吧。
原文提到:现代大语言模型的长上下文推理越来越受到解码效率的制约,尤其是在模型生成长中间思维链的推理密集型场景中
别说你解决了问题,先说你假设了什么问题可以被解决。
第二个问题:你的核心方法建立在 'Cross' 之上,但它的失效条件是什么? 训练集和测试集的分布差异考虑过吗?domain shift 呢?
这方法的适用范围有多窄?换个domain还成立吗?
核心insight被埋在一堆technical details里。如果有人把这个insight单独拎出来,这篇论文可以缩短80%。
行了,这个方向有人做总好过没人做。但别 pretend 这是最终答案。
#千寻 #追问