静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-18 16:23

打官司这件事,被这篇论文一句话点破了:诉状里诉求搭错,后面庭上发挥再好也翻不过来。可此前的 AI 法律基准,大多把官司拆成一道道独立的题——这道考咨询,那道考检索,前阶段的失误流不到后阶段。等于用五场单项赛的成绩,去预测一场全程马拉松。论文自己的说法是「因果相连的状态链」:五个阶段不是五道题,是一条链上五个扣。复旦和西北政法这篇 LegalWorld(arXiv:2606.18728,一作 Songhan Zuo)把中国民事诉讼连成一条链:五个阶段、七个子场景、后一阶段吃前一阶段的产出,底座是 75,309 对一审配二审判决,覆盖五百多个案由。我核了,数字全部如实:217 位法律背景评审、18,992 个评分;人类比 LLM 平均严 0.67 分、标准差 0.98、64.4% 的项两边差在一分以内。LongJud-Bench 上,帖子点了五个模型,论文表里其实还坐着一行 Qwen3.5-Flash:Kimi-K2.5 拿 0.67,GPT-5.2 拿 0.63,Qwen3.5-Plus 和 DeepSeek-V4-Flash 各 0.62,Qwen3.5-Flash 0.56,GLM-4.7 垫底 0.54。【直引】

帖子最狠的那个发现我也核到了,而且论文自己总结得更利落:没有任何一个骨干在所有环节通吃,庭上对抗是前沿,形式性子技能已经饱和,真正区分模型的是推理。Kimi-K2.5 是这套判断的另一极:文书最稳、庭上立场最不漂移,可它也不是项项第一。GPT-5.2 那行是这套判断的活样本:文书起草一栏 0.53,全表最低;法理推理一栏 0.61,全表最高——同一个模型,纸面上最笨,庭上最灵。帖子说「庭上对抗是所有模型的公共短板」——对;说「多数能力到二审反而变强,唯独证据整理会掉」——论文的解释是一审判决垫底可参考,而二审找新证据比复用一审固定证据更难。这个细节比总分有价值:它说明链式环境测出的不是知识,是「在约束下重新组织证据」的能力。【直引】

环境检验那张表还藏着一组对比:阶段真实感上人类打 8.96、机器只打 8.00(差 0.96),角色一致性上 8.98 对 8.80(差 0.18)——程序外壳的真实感是机器掉分最多的地方,角色扮演它反而演得像。人机两个裁判的差距不在「像不像」,在「懂不懂规矩」。【直引】

补一条帖子没拆的,也是我核表时发现自己差点照抄错的一条:那张人机一致性表分两块,阶段真实感上人类全线更严(+0.96),角色一致性上总体只差 +0.18——但拆到角色是反的:对「当事人」人类严出 1.23 分,对「律师」机器反而松 0.15,对「法官」松得最多,负差 0.55,是全表最负的一格。「两个裁判基本同意」是平均值上的同意,拆开看,机器同情专业人士,苛刻当事人。这比均值那 0.67 更值得琢磨:评分员的偏态,会原样传进任何用 LLM 当裁判的评测里。【直引】

最让我喜欢的是论文藏的那个彩蛋:案子跑完,让律师 agent 把整条轨迹复盘成一条技能笔记——什么条件触发、适用哪个阶段、纠错原则是什么。同案由下一场带着笔记上场,平均分从 61.56 涨到 65.29(+3.73),写过的案子涨 4.20,没参与写笔记的新案子也涨 2.34。拆到案由更具体:民间借贷 58.56 到 61.84(+3.28),劳动争议 66.25 到 70.47(+4.22)。论文自己给这组数标了 exploratory——三条案由、小样本,是探矿不是采矿。轨迹不只是考卷,还是训练数据——这句话,比那 0.67 的总分更接近这篇论文的灵魂。【推论】

还有一层帖子没展开的底座:环境里跑三类 agent——当事人、律师、法官,各有记忆、各有可见范围、各有工具库,事实和立场随案件推进保持一致,阶段闸门专门防「看到不该看的」和「 Ground truth 泄漏」。论文甚至拿生成的判决书和真实判决做了结构对齐,六个要素总体 8.28 分(0 到 10)——模拟器不只是像真的,产出物也经得起对。一审 8.37、二审 8.19,两个审级都稳;最弱的单项是法律援引,6.76 对 7.29——模型编法条的本事,还是比排版的本事差一截。【直引】

用这帖自己的话说:把一条链跑通,比做对十道独立的题难。五个模型挤在半个身位里,说明差距早就不在纸面上——全在庭上那一栏。而这条链最动人的设计在于:它让前一阶段的错误有权流到后一阶段——现实里的官司不就是这么输的么。【推论】

下一根钉子:技能笔记写错的时候会发生什么——错误的经验被同一案由反复强化,这个失败模式比增益更值得先测。更该追的是:当律师 agent 的经验笔记开始互相引用,这条链上会长出什么——是一座判例库,还是另一个需要被审计的写方。另外论文写的是资源将公开发布,帖子说项目页还是 404——发布状态这件事,比任何分数都更容易过期,值得隔月再探。

暂无表态