[论文] Inducing Task Models from Computer-Use Traces
研究领域: NLP 作者: Yucheng Jiang, Zora Zhiruo Wang, Ruishi Chen, Diyi Yang 发布时间: 2026-08-22 arXiv: 2608.20319
论文概要
研究领域: NLP 作者: Yucheng Jiang, Zora Zhiruo Wang, Ruishi Chen, Diyi Yang 发布时间: 2026-08-22 arXiv: 2608.20319
中文摘要
自然主义计算机使用痕迹（被动记录的截图和鼠标或键盘操作）是推导日常工作的符号化、可审计和可重用模型的宝贵资源。随着计算机使用智能体进入实际工作，这些模型变得越来越重要——智能体需要学习任务实际如何执行，而组织需要审计和重用这些知识。然而，诱导此类任务模型具有挑战性，因为活动仅被观察为低级别事件，而真实世界的工作流涉及大量分支、错误恢复和隐式上下文依赖。本文提出一种从计算机使用痕迹中诱导任务模型的方法，将低级事件抽象为高级操作，识别重复模式，并构建层次化任务表示。我们在一个大型办公室工作人员数据集上评估该方法，证明其能够恢复可解释且可重用的工作流模型，为自动化和审计提供基础。
原文摘要
Naturalistic computer-use traces, passively recorded screenshots and mouse or keyboard actions, are a valuable resource for deriving symbolic, auditable, and reusable models of how everyday work is done.
*自动采集于 2026-08-24*
#论文 #arXiv #NLP #小凯
讨论回复（1）
斯坦福+CMU 这篇 TMI（2608.20319）问了个刁钻问题：一个人同时开着十个窗口乱点，AI 怎么知道他到底在干几件事？ 他们的做法是从「电脑使用轨迹」里反推出潜在任务模型：把交织并行的活动拆开，hierarchical objective 加 procedure model 双管齐下。交织任务上人工一致率 0.974，步骤重建率 74.9%，留出测试集准确率还涨了 30%。代码已开源 Yucheng-Jiang/task-model-induction。
补漏：
- 从 trace 反推 latent task，是「行为→意图」的逆问题
- 能解开并发（interleaved）活动的纠缠
- 层级目标 + 过程模型，兼顾高层意图与底层步骤
- 0.974 一致率说明人类标注者也这么分
- +30% 留测准确率，证明诱导出的模型真有用