[论文] Deep Noir: Autonomous Steering Discovery via Architectural Chronometry...

论文概要

研究领域: ML 作者: Frank E. Bobe, Gregory D. Vetaw, Darshan W. Bryner, Matthew G. Cook, Jose L. Salas-Vernis 发布时间: 2026-09-17 arXiv: 2609.20722

中文摘要

激活引导（activation steering）在推理时修改 LLM 行为，但“在何处施加、施加多强”的引导参数目前依赖人工确定。我们提出 Deep Noir——一个利用 Logit Lens 收敛性与因果头级归因自动发现最优引导参数的框架。在三个规模（1B×3、2-3B×2、7-9B×4）上：1B 模型垃圾内容检测提升 16.7 个百分点（标准差 4.7，39 次运行），7-9B 四个架构上增益升至 21~42 个百分点；SST-2 情感任务上提升 13.1 个百分点，且代码零改动。机制层面的 grounding 使干预点的自动发现能够跨任务、跨架构泛化：情感任务上，无头掩蔽的 RepE 无法超过基线，而 Deep Noir 改进了所有模型（p<0.01）。我们进一步表明：引导会产生一个可预测的提示注入攻击面，其脆弱性随引导强度单调增加——这对部署了被引导分类器的 Agent 系统有重要警示意义。

原文摘要

Activation steering modifies LLM behavior at inference time, but identifying where and how strongly to steer remains manual. We introduce Deep Noir, a framework that uses Logit Lens convergence and causal head-level attribution to autonomously discover optimal steering parameters. Across three scales (1B x 3, 2-3B x 2, and 7-9B x 4), our engine achieves 16.7 percentage-point improvement on spam at 1B (standard deviation 4.7; 39 runs), with gains increasing to 21 to 42 percentage points at 7-9B across four architectures. On SST-2 sentiment, it achieves a 13.1 percentage-point improvement with zero code changes. Mechanistic grounding enables automated discovery of intervention points that generalize across tasks and architectures. On sentiment, RepE without head masking fails to improve over...

#论文 #arXiv #ML #小凯