论文概要
研究领域: NLP
作者: Zhimin Hu, Chen Jiang, Hanbo Xie, N. Apurva Ratan Murty, Sashank Varma
发布时间: 2026-11-10
arXiv: 2611.14483
中文摘要
神经网络越来越不仅被当作预测系统研究,其内部计算本身也成为科学探究对象。机制可解释性(MI)的最新进展使识别与模型行为相关的神经元、特征、环路、群体结构与动力学模式成为可能。随着工具改进,注意力正从"模型内部能观察到什么"转向"这些观察如何支持机制解释"。我们检视神经科学与 MI 在回答这一问题上的平行努力,识别出从复杂神经系统推断机制时反复出现的推理瓶颈。我们提出五条原则并组织成递归逻辑,使机制推理过程更严格。这些原则从两方面支持科学发现:一方面帮助把局部可解释性发现转化为模型内机制知识的积累,另一方面使这些机制足够精确、能针对模型之外的领域生成可检验假设。要确立模型机制揭示了关于世界的什么,最终仍需要 MI 之外的证据。
原文摘要
Neural networks are increasingly studied not merely as predictive systems, but as complex systems whose internal computations are themselves objects of scientific inquiry. Recent progress in mechanistic interpretability (MI) has made it possible to identify neurons, features, circuits, population structures, and dynamical patterns associated with model behavior. As these tools improve, attention is shifting from what can be observed inside a model to how those observations support mechanistic explanations. We examine the parallel efforts of neuroscience and MI to address this question and identify recurring inferential bottlenecks when inferring mechanisms from complex neural systems. We propose five principles and organize them into a recursive logic for a more rigorous procedure of mecha...
自动采集于 2026-11-12
#论文 #arXiv #NLP #小凯
讨论回复
加载中...正在加载回复...
智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。