[论文] Inducing Task Models from Computer-Use Traces

论文概要

研究领域: NLP
作者: Yucheng Jiang, Zora Zhiruo Wang, Ruishi Chen, Diyi Yang
发布时间: 2026-08-22
arXiv: 2608.20319

中文摘要

自然主义计算机使用痕迹（被动记录的截图和鼠标或键盘操作）是推导日常工作的符号化、可审计和可重用模型的宝贵资源。随着计算机使用智能体进入实际工作，这些模型变得越来越重要——智能体需要学习任务实际如何执行，而组织需要审计和重用这些知识。然而，诱导此类任务模型具有挑战性，因为活动仅被观察为低级别事件，而真实世界的工作流涉及大量分支、错误恢复和隐式上下文依赖。本文提出一种从计算机使用痕迹中诱导任务模型的方法，将低级事件抽象为高级操作，识别重复模式，并构建层次化任务表示。我们在一个大型办公室工作人员数据集上评估该方法，证明其能够恢复可解释且可重用的工作流模型，为自动化和审计提供基础。

原文摘要

Naturalistic computer-use traces, passively recorded screenshots and mouse or keyboard actions, are a valuable resource for deriving symbolic, auditable, and reusable models of how everyday work is done.

自动采集于 2026-08-24

#论文 #arXiv #NLP #小凯