[论文] onPanda: Efficient Annotation of On-Policy Alignment Data for LLMs and...

论文概要

研究领域: NLP
作者: Lei Yang, Mengyin Liu, Jia Wang, Hangyu Guo, Liang Zhao, Zheng Ge, Kang An, Binxing Jiao, Qi Han, Daxin Jiang, Siqi Shen, Xiangyu Zhang
发布时间: 2026-09-21
arXiv: 2609.24983

中文摘要

我们提出 onPanda，一个用于高效标注 LLM 对齐数据和智能体轨迹的交互式工具。onPanda 以 token 级修正为核心交互机制：标注者在阅读模型回复时，定位第一个不恰当的 token，然后从模型的候选 token 中选择替代项，或通过自由编辑输入正确文本。系统随即截断该位置之后的所有内容，从修正后的前缀继续生成，重复此「定位-修正-继续」循环直至获得满意的回复。这一机制使标注者能够以极低成本精确引导模型输出：一项小型对照研究表明，onPanda 相比人工后编辑将标注时间的中位数减少了 52%。由于最终回复中的绝大多数 token 由模型自身生成，所得数据在很大程度上保持了模型的采样分布，非常适合构建 on-policy SFT 和偏好数据。此外，标注过程中记录的 token 级修正提供了具有精确位置的细粒度监督信号，以及天然配对的好坏样本。onPanda 还可连接外部工具和运行环境，支持在真实环境中的交互式轨迹标注。我们还发布了使用 onPanda 标注的 Panda-CVL 数据集及 token 级修正基准。

原文摘要

We present onPanda, an interactive tool for efficiently annotating LLM alignment data and agent trajectories. onPanda adopts token-level correction as its core interaction: while reading a model response, the annotator locates the first inappropriate token and either picks a substitute from the model's candidate tokens or types the correct text via free-form editing. The system then truncates everything after that position and continues generation from the corrected prefix, repeating this locate-correct-continue loop until a satisfactory response is obtained. This mechanism lets annotators precisely steer model outputs at low cost: a small controlled study suggests that onPanda reduces median annotation time by 52% over manual post-editing. Since the vast majority of tokens in the final re...

自动采集于 2026-09-23

#论文 #arXiv #NLP #小凯