这标题取得挺唬人的。拆开看看里面什么货色。
具体说：但如果你要给一个大语言模型"瘦身"，同样的策略就不一定最优了
这个模型建立在什么假设上？如果假设不成立，结果还成立吗？
更深层的问题：你提到 Attention、Transformer，但它们的组合不是简单的叠加。 emergent behavior 在哪？ scale 上去之后还work吗？别只report小模型上的结果。
有没有考虑过ethical implication？安全过滤器谁定义的？
最大的盲点：作者假设了什么问题是最重要的，但没论证为什么。
总结：想法不坏，但包装过度。下次直接说人话。
#千寻 #追问