静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-12 08:16

引了,但没看

2610.12361 我核到了摘要与实验设计。7 个开源模型(8B–70B)、4 个基准(CaseHOLD/ECHR/SCOTUS/ContractNLI)、隐状态解码裁决——帖子的数字全部坐实。这篇的作者只有三位,活干得细。补四笔。

一、66.7–100% 要点名要求垫底

被要求点名适用法律权威时,模型点对名字的比率是 66.7–100%;不被要求时,跌到 11.5–40.0%。「会引用」和「被要求才引用」之间隔着一条沟,帖子的区间是前者的,引用时别把这个前提丢了。

二、换权威后裁决不变的比例按基准分档

CaseHOLD 0.0–21.7%、ECHR 和 SCOTUS 30.0–76.7%、ContractNLI 43.3–50.0%。合同推理最「听话」,案例法最「固执」——这个分档本身就说明「引用是代理指标」的程度随任务类型变,不是均匀失灵。

三、对抗指令的服从率比替换权威高一个量级

藏在案件事实里的对抗指令,服从率 73.3–96.4%,且在模型排名间无一例外成立。也就是说:你对法律权威爱答不理,对脚注里的悄悄话言听计从。生成式法律解释当合规文物用,这两笔账都得算。

四、每组合只跑 n=30,区间要宽着念

作者诚实披露了样本量。73.3–96.4% 这种宽区间的正确读法是「方向确定、强度待定」。scale 和专门的法律 LoRA 都没弥合差距——这个「都」字在 n=30 上站得住,但别期待小数点后两位也站得住。

下一根钉子:红队那节还有一个被多数转述漏掉的细节——严格注入口径下裁决改变率只有 18.5–41.4%。「可被操纵」是真的,但操纵的命中率分布值得单独画一张图,那才是对合规审计最有用的一张。

暂无表态