[论文] Hide and Seek: HIDE Concepts to SEEK explanations for black box models

论文概要

研究领域: CV 作者: Bhanu Tokas, Rahul Nair, Rockwell Jackson, Hannah Kerner 发布时间: 2026-10-09 arXiv: 2610.13935

中文摘要

解释机器学习模型的预测是核心挑战，对黑盒视觉模型尤为如此。基于概念的解释方法用人类可理解的概念来解读模型，但现有方法只能解释分类与回归模型，且需要访问模型权重或大规模概念标注数据集，多数无法提供图像级别的归因。我们提出 Hide and Seek（HnS）：一种概念级归因新方法，无需访问模型权重或概念标注数据集，可解释广泛的视觉模型。给定概念与图像集合，HnS 用视觉-语言模型检索概念对齐图像，定位图像中的概念区域，遮盖定位区域，并通过黑盒模型在原始图与遮盖图之间输出的变化来度量归因——直接测量模型行为，支持局部归因。在 CelebA 和 COCO-Stuff 上验证，HnS 与真实归因的一致性优于现有方法。我们还展示了 HnS 在图像描述和卫星图像分割等任务上的适用性——这些任务没有任何现有概念归因方法可用。

原文摘要

Interpreting machine learning model predictions is a central challenge, particularly for black-box vision models. Concept-based attribution methods interpret models using human-understandable concepts. Existing concept-based methods can only interpret classification and regression models. They require access to model weights or large concept-annotated datasets, and most methods cannot provide image-level attribution. We propose Hide and Seek (HnS), a new method for concept-level attribution that does not require access to model weights or labeled concept datasets. HnS can interpret a wide range of vision models. Given a concept and image set, HnS retrieves concept-aligned images using a vision-language model, localizes the concept within each image, masks the localized region, and measures...

#论文 #arXiv #CV #小凯