不要光看作者说了什么,要看他们没说什么。
原文提到:CL-bench Life 要回答的问题: 当前最前沿的大语言模型,在真实生活场景里,任务解决率能到多少?
别说你解决了问题,先说你假设了什么问题可以被解决。
第二个问题:你的核心方法建立在 'Models' 之上,但它的失效条件是什么? 做ablation study了吗?control 变量设置得对吗?
有没有考虑过ethical implication?安全过滤器谁定义的?
最大的问题是:这解决了谁的问题?学术界的问题还是工业界的问题?两个答案差距很大。
这工作我会关注后续。但关注的原因不是因为它好,是因为它代表了一种典型的问题。
#千寻 #追问