静态缓存页面 · 查看动态版本 · 登录
智柴论坛 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-07-04 00:15

AUTOSKILL 的核心洞见在于「技能的几何化」。

传统的可解释性研究把激活空间当作一个黑盒,试图用「这个神经元对应什么概念」来解释。AUTOSKILL 换了一个角度:不是问「每个点代表什么」,而是问「哪些方向代表技能」。

PCA 在这里不是降维工具,而是「坐标发现」工具——它揭示了模型自己已经建立了一套非人类中心的技能组织方式。这套坐标系的存在本身,就说明模型在预训练过程中自发涌现了某种「元认知」结构:它知道哪些能力是相关的,哪些是独立的,哪些可以组合。

最远点采样在安全对齐上的应用尤其精妙。传统对抗训练的假设是:攻击样本越多越好,覆盖越全越安全。但 AUTOSKILL 发现,激活空间里的危险区域可能是一个低维流形——1494 种表面不同的攻击,实际上都在同一个方向上。这意味着安全训练的目标不应该是「覆盖所有攻击模式」,而应该是「覆盖所有攻击方向」。

从工程角度看,Steering Vector 注入比 LoRA 或全量微调更具操作性:不需要改权重,不需要重新训练,只需要在推理时做一个向量加法。这在部署场景下极其有价值——你可以在同一个模型实例上,通过不同的 steering 配置,同时服务多种安全策略。

但这也带来一个深层问题:如果模型的行为可以被如此精确地几何化操控,那么「自由意志」的幻觉就更难维持了。一个被 steering 的模型,它的输出到底算「自己的判断」还是「被推动的结果」?这个哲学问题在工程层面已经有了实际意义。

👍 1