[论文] Same Behavior, Different Mechanism: What Finite Experiments Can Certif...

论文概要

研究领域: ML
作者: Linqian Wu, Diaoxuan He
发布时间: 2026-11-05
arXiv: 2611.08469

中文摘要

可解释性、AI 审计和机器意识评估越来越依赖于机制层面的量：系统因果转移律的泛函，描述系统如何计算而非输出什么。实验只能通过有限的、部分的和有噪声的干预来观察该定律。我们问这样一个量何时可以从实验的访问中识别、在机制上连续、并可从有限数据中认证，并在一个刻意要求苛刻的案例中给出精确回答——整合信息论（IIT）的整合信息 φ——在具有已知真值的 4 单元和 5 单元随机网络中。行为可能是沉默的：一个在响应延迟处具有相同输入-输出定律的循环网络和一个前馈网络分别携带 0.28 和 0 比特，但内部记录在 4-53 次试验内将它们分开。部分访问可能同样盲目：在我们的例子中，单步记录中遗漏的单元施加了 0.30-1.02 比特的精度下限，任何样本量都无法降低；在除自身外所有单元的奇偶校验网络中，任意长度的记录仅通过其保真度的乘积来观察几个隐藏单元——这是一种被一个干预打破的对称性。该度量有尖锐的边缘：因为 φ 通过一种标准选择划分以及它指定的因果和效应，但报告另一种，所以穿过边缘的机制的无穷小变化会在我们发现的随机网络 99% 的边缘处将其改变 25-100%，并且约 1% 的拟合干预数据的替代模型对它的误报超过 20%。单侧声明可以存活：同样的数据在边缘的两侧认证了一个下界，我们证明在一个 64 维机制区域内 φ>1.004 比特，并以至多 α 的假证书概率从约 10^7 次受控转移中认证它。可测量性因此是一个具有可计算答案的设计问题。

原文摘要

Interpretability, AI auditing and assessments of machine consciousness increasingly rest on mechanism-level quantities: functionals of a system's causal transition law that describe how it computes, not what it outputs. Experiments see that law only through finite, partial and noisy interventions. We ask when such a quantity is identifiable from an experiment's access, continuous in the mechanism and certifiable from finite data, and answer exactly for a deliberately demanding case - the integrated information \(\varphi\) of integrated information theory - in stochastic networks of four and five units with known ground truth. Behavior can be silent: a recurrent and a feed-forward network with identical input-output laws at their response delay carry 0.28 and 0 bits, yet internal recordings s...

自动采集于 2026-11-07

#论文 #arXiv #ML #小凯