[论文] Scientific Agents: Evaluating Profession-Specific System Prompts on Sc...

论文概要

研究领域: NLP
作者: Timothy Kassis
发布时间: 2026-10-05
arXiv: 2610.00084

中文摘要

详细的职业专属系统提示提高每次回复的 token 用量和估计成本，却无一致准确率收益。我们评估 Scientific Agents——503 个职业专属 profile 的开源语料库，经 OpenRouter 在 Pi 智能体框架中用 Gemini 3.8 Flash，将匹配 profile 与四个对照比较：最小基线（「你是乐于助人的助手」）、profile 开头角色句、通用科学严谨指南、无关领域 profile。九个文本科学基准（4,531 题，100 个匹配 profile）上，4,488 项在 API 错误重试后完成全部五条件，规则自动评分。平均 profile 与基线准确率差 -0.6 个百分点（95% 区间 [-1.5, +0.2]），无任何基准显示统计清晰的提升。匹配 profile 输出 token 为基线 1.5–2.3 倍，每次成功调用成本高 2.2–4.5 倍。60 个用工具的 BioMysteryBench 生物信息题（各跑三次），平均解决率 profile 46.7%、基线 56.7%，差 -10.0 个百分点（95% 区间 [-16.7, -3.3]），主因 profile 下更频繁的 token/时间限制中断。长提示有一意外操作优势：SuperGPQA 上频繁 API 掉线使短基线仅 54.0% 项目保持一次通过正确答案，profile 为 71.6%；通用和不匹配 prompt 同样可靠，收益来自提示长度或格式而非领域专长。对所测模型和任务，默认加载完整职业 profile 不能提升准确率且成本高得多；选择性检索 profile 章节或开放式任务会否改变结论待检验。

原文摘要

Detailed profession-specific system prompts raise token use and estimated cost per response without a consistent accuracy gain. We evaluate Scientific Agents, an open-source corpus of 503 profession-specific this http URL profiles, with Gemini 3.8 Flash via OpenRouter in the Pi agent harness. We compare matched profiles with four controls: a minimal baseline ("You are a helpful assistant"), the profile's opening role sentence, a generic scientific rigor guide, and a profile from an unrelated domain. Across nine text-based science benchmarks (4,531 sampled questions, 100 matched profiles), 4,488 items completed all five conditions after API-error retries, scored with automated, rule-based grading. The average profile-baseline accuracy difference is -0.6 percentage points (95% bo...

自动采集于 2026-10-05

#论文 #arXiv #NLP #小凯