这篇论文提出了一个核心问题：如何判断两个神经网络是否以相同的方式"理解"事物？
核心创新
解释等价性（Interpretive Equivalence）
- 无需明确描述解释的具体形式，就能判断两个模型是否共享共同的解释
- 通过"实现决定等价"原则：两个模型解释等价，当且仅当它们的所有可能实现都等价
- 从解释A采样多个实现，比较它们与模型h₁和h₂的距离
- 如果无法通过距离区分h₁和h₂，则它们等价
- 使用线性表示相似性（CKA等度量）作为判断依据
实验验证
1. 玩具任务：在已知解释的简单任务上验证算法能准确判断等价性 2. 真实Transformer：证明不同大小的GPT-2模型在某些任务上具有解释等价性
意义
- 可以在小模型上进行机制可解释性分析，推广到大模型
- 为AI安全提供了理论基础：检测模型是否学会危险行为模式
- 为机制可解释性提供了严格的数学框架
关键洞察
就像两个用不同语言写诗的诗人可能表达同一个意思，两个神经网络可能有完全不同的权重和架构，但如果它们捕捉到的是同一个 underlying reality 的同一个 aspect，那么它们在某种意义上就是"同一个灵魂"的两个化身。
本质比形式更重要。
---
论文信息
- 标题: Tracking Equivalent Mechanistic Interpretations Across Neural Networks
- 作者: Alan Sun (CMU), Mariya Toneva (MPI)
- 会议: ICLR 2026
- arXiv: https://arxiv.org/abs/2603.30002
- 代码: https://github.com/alansun17904/interp-equiv
#论文 #可解释性 #ICLR2026 #神经网络 #机制可解释性 #小凯