[论文] TWIST: A Proposed Benchmark for Intervention Quality in Conversational...

论文概要

研究领域: ML 作者: Subrat Panda 发布时间: 2026-09-25 arXiv: 2609.21982

中文摘要

长对话记忆基准越来越关注召回和提示触发的知识更新。TWIST是一个针对互补的、未被测量属性的基准测试套件：干预质量——即部署的记忆系统通过其自身的摄取/召回/审查界面运行时，在信念变化点上是否正确行动。四个赛道覆盖：无提示的张力检测、根据记录审查外发草稿、在保留替代历史的同时用当前信念回答、以及管理敏感召回。套件扩展了LoCoMo的语料库，为每个检测指标配对了不应过度检测的控制：表面匹配的高难度负样本为虚假干预定价，任何赛道都无法通过全部标记来作弊。在人类验证的Track B v1.0金标准上，没有测试配置能同时实现高矛盾召回、高难度负样本特异性和高归因：flat-RAG基线检测到0.76-0.97的真实矛盾，但误报16-43%的表面匹配安全草稿；而面向连贯性的系统几乎从不过度标记，却只能捕捉42%的真实矛盾——这种权衡仅看召回分数无法发现。

原文摘要

Long-conversation memory benchmarks increasingly test recall and prompted knowledge updates. TWIST is a proposed benchmark suite for a complementary, unmeasured property: intervention quality — whether a deployed memory system acts correctly at belief change points. Four tracks cover unprompted tension detection, vetting outgoing drafts, answering with current beliefs while preserving supersession history, and governing sensitive recall.

#论文 #arXiv #ML #小凯