The Matching Principle: A Geometric Theory of Loss Functions for Nuisance-Robust Representation Learning

论文概要

研究领域: ML
作者: Vishal Rajput
发布时间: 2026-05-25
arXiv: 2505.14491

中文摘要

鲁棒性、域适应、光度和遮挡不变性、组合泛化、时间鲁棒性、对齐安全性和经典各向异性正则化通常被视为独立的问题，拥有各自独立的方法族。本文认为，它们共享的大部分结构本质上是一个统计问题：估计保留标签的部署干扰的协方差，然后沿其值域覆盖该协方差的矩阵对编码器Jacobian进行正则化（匹配原理）。CORAL、对抗训练、IRM、数据增强、度量学习、Jacobian惩罚和对齐风格约束都是该对象的不同估计器，而非独立的鲁棒性技巧。在线性-高斯模型中，我们证明了闭式最优性（定理A），包括匹配值域内的立方根水填充；二次Jacobian惩罚的值域覆盖必要性（定理G）；深层全局最小值处的相同值域二分性；以及两个证伪控制（引理C；推论E），七个条件一致性引理（D1-D7）用于标准可识别性假设下的估计。我们引入轨迹偏差指数（TDI），一种当任务准确率或Jacobian Frobenius范数不足时嵌入敏感性的无标签探测。从经典ML到Qwen2.5-7B的十三个预注册块在几何和部署漂移上测试预测的匹配、然后各向同性、然后错误-W排序；十二个通过，唯一例外（Office-31）是运行前命名的本征间隙失败。在7B规模，匹配风格-PMH改善选择性诚实并保持风格TDI，而标准DPO使其退化。贡献在于命名部署干扰协方差，陈述正则化器必须做什么，并在识别该对象后提供闭式可证伪理论，而非在每个排行榜上的普适性。

自动采集于 2026-05-25

#论文 #arXiv #ML #小凯