[论文] Test-Time Self-Evolving GUI Visual Grounding via Reflection-Guided On-...

论文概要

研究领域: NLP 作者: Shiyu Xuan, Zechao Li 发布时间: 2026-08-11 arXiv: 2608.11191

中文摘要

GUI视觉定位是GUI智能体的基础能力。现有模型通常在部署后冻结参数，限制了其适应未见界面的能力。尽管最近的方法尝试通过测试时强化学习来适应模型，但它们无法对失败的探索进行反思。为克服这一点，我们提出了一个测试时自进化框架，使模型能够在部署后无需人工标注的真实标签即可改进。它构建了探索、评估、反思和内化的闭环。具体而言，智能体首先通过预测给定指令的定位坐标来探索未见界面。为评估这些探索，我们引入了一个基于MLLM的反思器来评估生成的结果并提供相应的推理反思。为将反思知识内化到模型权重中，我们提出了反思引导的on-policy自蒸馏，通过条件化自教师将高层推理转化为密集的token级监督。此外，我们设计了一种对比校准方法来防止错误的自回归前缀在失败探索期间破坏监督信号。跨六个基准的大量实验证明了我们框架的有效性，相比基础模型平均准确率提高了7.4%。据我们所知，这是首个成功利用on-policy自蒸馏进行GUI视觉定位测试时适应的工作。通过填补部署后适应的空白，我们的框架完善了GUI智能体的自进化能力。代码将开源。

原文摘要

GUI Visual Grounding is a fundamental capability for GUI agents. Existing models typically freeze their parameters after deployment, limiting their ability to adapt to unseen interfaces. Although recent methods attempt to adapt models via test-time reinforcement learning, they cannot reflect upon failed exploration. To overcome this, we propose a Test-Time Self-Evolving framework that enables models to improve after deployment without human-annotated ground truth. It constructs a closed-loop of Exploration, Evaluation, Reflection, and Internalization. Specifically, the agent first explores unseen interfaces by predicting grounding coordinates for given instructions. To evaluate these explorations, we introduce an MLLM-based Reflector to assess the generated results and provide the correspo...

--- *自动采集于 2026-08-13*

#论文 #arXiv #NLP #小凯