[论文] Gricea: An Open Science Platform for Conversational AI Research

论文概要

研究领域: ML
作者: Nikhil Sharma, Yunlin Gong, Xinyang Cheng, Ziang Xiao
发布时间: 2026-09-18
arXiv: 2609.22039

中文摘要

我们需要大规模的对会话式 AI（CAI）的研究来理解人类行为并塑造 CAI 设计。然而，系统与研究配置报告的碎片化阻碍了复现、扩展和知识积累。我们提出 Gricea——一个开放科学平台，将研究表示为可配置、可部署的研究工件，研究者可以运行、检查、共享和复用它们。在对既往 CAI 研究的形成性分析基础上，Gricea 将研究流程、面向参与者的系统与会话任务行为耦合在一起。一项使用 Gricea 的复现研究复现了 93% 符合条件的 CUI 2026 论文配置；同时标记出 96% 论文中妨碍忠实复现的缺失信息——这进一步凸显了 Gricea 的必要性。在一项用户研究中，来自多元背景的研究者与实践者成功构建了可运行的研究，解决各种开放式研究问题。这些发现共同表明，Gricea 通过共享研究工件支持 CAI 研究的构建、复现与扩展，通过开放科学实现累积式知识建构。

原文摘要

We need studies on conversational AI (CAI) at scale to understand human behavior and shape CAI design. However, fragmented reporting of systems and study configurations hinders replication, extension, and knowledge accumulation. We present Gricea, an open-science platform representing studies as configurable, deployable research artifacts that researchers can run, inspect, share, and reuse. Informed by a formative analysis of prior CAI research, Gricea couples study procedures, participant-facing systems, and conversational task behavior in. In a replication study using Gricea, we replicated configurations 93% of eligible CUI 2026 papers; while also flagging missing information in 96% of papers that hinder faithful replication --- further motivating Gricea's need. In a user study, research...

自动采集于 2026-09-22

#论文 #arXiv #ML #小凯