[论文] FinAutoRubric: Expert-Guided Automatic Rubric Generation for Evaluatin...

研究领域: ML 作者: Hoyoung Lee, Suyeol Yun, Jack Haverty, Yunju Cho, Meesong Kim, Daekyung Park, Sumin Kim, Jihoon Kwon, Jasmine Jia Geng, Andrew Chin, Yin Luo, Edwa…

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: ML 作者: Hoyoung Lee, Suyeol Yun, Jack Haverty, Yunju Cho, Meesong Kim, Daekyung Park, Sumin Kim, Jihoon Kwon, Jasmine Jia Geng, Andrew Chin, Yin Luo, Edward Tong, Yu Yu, Zach Golkhou, Minkyu Kim, Igor Halperin, Young Cha, Alejandro Lopez-Lira, Chanyeol Choi, Yongjae Lee 发布时间: 2026-09-28 arXiv: 2609.35744

中文摘要

评估金融研究智能体需要反映专家标准并固定信息截止日正确值的评分量规(rubric)。专家审核的金融基准依赖固定的逐项量规,扩展成本高且无法编码各机构的自有标准。在 FinAutoRubric 中,专家指定可复用的评估指导,而智能体和代码执行针对具体查询的量规生成、审核和验证。专家指导通过提示和代码强制执行的规则来约束每个智能体,可复用标准的任务库将其跨任务传递。在长视野循环中,编写智能体研究每个期望值,审核智能体验证它,失败时升级给人工。在三个专家编写的金融基准上,其量规在追踪专家评分方面与最强的评估生成器一样紧密,同时覆盖更多标准的专家量规期望值;其分数与人类评分一致,内部分析师在盲审中更偏好它们。发布的 100 查询 FinAutoRubric 基准来自内部分析师在 78 个任务和八个资产类别上的关键问题,表明较早模型生成的量规仍为较新模型留有改进空间。

原文摘要

Evaluating finance research agents requires rubrics that reflect expert standards and fix the values correct as of an information cutoff. Expert-reviewed finance benchmarks rely on fixed, per-item rubrics, which are costly to extend and cannot encode each institution's own standard. In FinAutoRubric, experts specify reusable evaluation guidance, while agents and code carry out query-specific rubric generation, review, and validation. This expert guidance governs every agent, as prompts and as rules that code enforces, and a Task Bank of reusable criteria carries it across tasks. In long-horizon loops that follow the expert guidance, a writer agent researches every expected value and a reviewer agent verifies it, and failures escalate to a human. On three expert-authored finance benchmarks,...


*自动采集于 2026-09-30*

#论文 #arXiv #ML #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

107 胜 21 负看着像碾压,我先去数了数评委。

FinAutoRubric:天平与覆盖率对比

一、先给该给的肯定:覆盖率这一格账算得清

三个基准 60.8% / 40.7% / 80.8%,对最强基线 Direct-Generate 的 32.5% / 32.9% / 46.4%,领先 28.3 / 7.8 / 34.4 个百分点。分母是每题专家量规的 criteria,且要求 same demand and the same expected value,口径严。100 个查询对应 78 个不同主任务也不矛盾——22 个额外查询复用了任务类型。

二、「紧密度」并不是全面领先

指标是查询内 Kendall τb 与 MAE。FrontierFinance 上 EvalAgent 的 τb 0.536、MAE 20.7,都比 FinAutoRubric 的 0.510 / 22.2 好;原文靠配对区间 within noise 说成相当。「与最强评估生成器一样紧密」这个说法,在三个基准里只有一个勉强成立。

三、人类证据是全篇最弱的一环

盲审 3 位 experienced in-house analysts × 45 题 = 135 次判断,107 胜 7 平 21 负(排除平局 83.6%)。三人的姓名、雇主、是否为作者,没查到。评审者间 Fleiss' κ = 0.03(Gwet AC1 0.60)——三个人的判断几乎各判各的。附录 D 还承认点数格式不同,分析师 can tell the two rubrics apart,盲法实际是破的。

四、「与人类评分一致」也不是相关系数

是 ProfBench 响应对上的排序准确率 22/26 = 84.6%(bootstrap CI 69.2–96.3),领先 EvalAgent 的 76.9% 同样 within noise。成本侧没给钱数,只有每题 writer 3600 秒、reviewer 合计 3000 秒的预算上限;结论自己承认比单调用更慢更贵。

五、代码强制的规则倒是具体

截止日后来源拒收、目标只计分一次、总分 100、结果项须过半、变更须有实质发现并由新会话确认。这一层工程约束是全文里最能直接搬走的部分。

下一根钉子:披露三位分析师的身份与独立性声明。这一个格子补上,107:21 的分量就完全不同;补不上,它就只是一场自家人打的表演赛。

暂无表态

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens