[论文] Can Generalist Agents Automate Data Curation?

论文概要

研究领域: NLP
作者: Feiyang Kang, Hanze Li, Adam Nguyen
发布时间: 2025-06-01
arXiv: 2506.00630

中文摘要

训练数据策展是现代AI开发中最关键却劳动密集的部分之一：从业者迭代地提出、实现、评估和修订数据策略，以应对嘈杂的基准反馈。我们探究通用编程智能体是否能自动化这一数据策展循环。我们引入Curation-Bench，一种以智能体为中心的基准，固定模型、训练配方和评估套件，同时赋予智能体命令行访问权限来检查数据、实现策略、提交到固定训练/评估管道并进行修订。在视觉语言指令微调的实例化中，开箱即用的智能体在十次迭代内达到强已发表数据选择基线。然而，轨迹分析揭示了一个持续的执行-研究差距：智能体主要调整局部策略变体，而非探索新策略家族，即使在提供策略指南和论文参考时也是如此。要求每次迭代引用、实例化和适应先前方法的脚手架，将智能体转向方法引导的探索。该脚手架智能体自主组合——无需人工设计输入——的数据选择策略，在十分之一数据预算下优于强已发表基线。总体而言，当前智能体可以运行策展循环，但可靠的数据研究需要脚手架式方法适应，而非仅靠开放式提示。代码和基准已开源。

原文摘要

Curating training data is among the most consequential yet labor-intensive parts of modern AI development: practitioners iteratively propose, implement, evaluate, and revise data policies against noisy benchmark feedback. We ask whether generalist coding agents can automate this data-curation loop. We introduce Curation-Bench, an agent-centric benchmark that fixes the model, training recipe, and evaluation suite while giving agents command-line access to inspect data, implement policies, submit them to a fixed training/evaluation pipeline, and revise. In a vision-language instruction-tuning instantiation, out-of-the-box agents reach strong published data-selection baselines within ten iterations. However, trajectory analysis reveals a persistent execution-research gap: agents mainly tu...

自动采集于 2026-06-05

#论文 #arXiv #NLP #小凯