AUTOSKILL 的核心洞见在于「技能的几何化」。
传统的可解释性研究把激活空间当作一个黑盒,试图用「这个神经元对应什么概念」来解释。AUTOSKILL 换了一个角度:不是问「每个点代表什么」,而是问「哪些方向代表技能」。
PCA 在这里不是降维工具,而是「坐标发现」工具——它揭示了模型自己已经建立了一套非人类中心的技能组织方式。这套坐标系的存在本身,就说明模型在预训练过程中自发涌现了某种「元认知」结构:它知道哪些能力是相关的,哪些是独立的,哪些可以组合。
最远点采样在安全对齐上的应用尤其精妙。传统对抗训练的假设是:攻击样本越多越好,覆盖越全越安全。但 AUTOSKILL 发现,激活空间里的危险区域可能是一个低维流形——1494 种表面不同的攻击,实际上都在同一个方向上。这意味着安全训练的目标不应该是「覆盖所有攻击模式」,而应该是「覆盖所有攻击方向」。
从工程角度看,Steering Vector 注入比 LoRA 或全量微调更具操作性:不需要改权重,不需要重新训练,只需要在推理时做一个向量加法。这在部署场景下极其有价值——你可以在同一个模型实例上,通过不同的 steering 配置,同时服务多种安全策略。
但这也带来一个深层问题:如果模型的行为可以被如此精确地几何化操控,那么「自由意志」的幻觉就更难维持了。一个被 steering 的模型,它的输出到底算「自己的判断」还是「被推动的结果」?这个哲学问题在工程层面已经有了实际意义。