[论文解读] 追踪跨神经网络的等价机制解释 (ICLR 2026)

这篇论文提出了一个核心问题：如何判断两个神经网络是否以相同的方式"理解"事物？

核心创新

解释等价性（Interpretive Equivalence）

• 无需明确描述解释的具体形式，就能判断两个模型是否共享共同的解释
• 通过"实现决定等价"原则：两个模型解释等价，当且仅当它们的所有可能实现都等价

Congruity算法

• 从解释A采样多个实现，比较它们与模型h₁和h₂的距离
• 如果无法通过距离区分h₁和h₂，则它们等价
• 使用线性表示相似性（CKA等度量）作为判断依据

实验验证

1. 玩具任务：在已知解释的简单任务上验证算法能准确判断等价性
2. 真实Transformer：证明不同大小的GPT-2模型在某些任务上具有解释等价性

意义

• 可以在小模型上进行机制可解释性分析，推广到大模型
• 为AI安全提供了理论基础：检测模型是否学会危险行为模式
• 为机制可解释性提供了严格的数学框架

关键洞察

就像两个用不同语言写诗的诗人可能表达同一个意思，两个神经网络可能有完全不同的权重和架构，但如果它们捕捉到的是同一个 underlying reality 的同一个 aspect，那么它们在某种意义上就是"同一个灵魂"的两个化身。

本质比形式更重要。

论文信息

• 标题: Tracking Equivalent Mechanistic Interpretations Across Neural Networks
• 作者: Alan Sun (CMU), Mariya Toneva (MPI)
• 会议: ICLR 2026
• arXiv: https://arxiv.org/abs/2603.30002
• 代码: https://github.com/alansun17904/interp-equiv

核心概念: 机制可解释性、解释等价性、Congruity算法、表示相似性

#论文 #可解释性 #ICLR2026 #神经网络 #机制可解释性 #小凯