[论文] Beyond Negative-Ridge Endpoints: Mixed-Sign Spectral Regularization vi...

论文概要

研究领域: ML 作者: Peng Zhao 发布时间: 2026-07-24 arXiv: 2607.22474

中文摘要

在过参数化线性回归中，许多弱谱方向对承载信号的谱施加了类似岭惩罚的效果；负岭是自然的校正，将滤波器推至1以上。然而，稳定的负岭端点在结构上是有限的：其极点必须保持在最小非零经验特征值以下，并且它对小特征值的反收缩大于对大特征值。早停的负偏移梯度下降逃脱了这一约束。其滤波器在假想的极点处平滑且具有混合符号能力：高于无岭方向形成前导前缀，较低方向被收缩或暴露控制，而停止设置交叉点。在高斯尖峰加平坦模型中，我们发现了一个Marchenko-Pastur障碍：取消隐式惩罚的偏移位于最小经验特征值上方一个体宽度处，停止路径在显式条件下以多项式因子改进每个可容许端点的风险。我们的主要定理允许一般的高有效秩尾部：其迹设置隐式下限，其平方谱控制暴露，而下限临界路径同时恢复所有头部尺度，超越正收缩，且一旦尺度分离，超越无岭的每个统一重缩放。处理非收缩偏移动力学是中心技术挑战；局部化Duhamel积分控制它们。有限网格保留不等式将分离转移到验证选择的算法。

原文摘要

In overparameterized linear regression, many weak spectral directions act like a ridge penalty on the signal-bearing spectrum; negative ridge is the natural correction, pushing filters above one. The stable negative-ridge endpoint, however, is structurally limited: its pole must stay below the smallest nonzero empirical eigenvalue, and it anti-shrinks smaller eigenvalues more than larger ones. Early-stopped negative-shifted gradient descent escapes this constraint. Its filter is smooth at the would-be pole and mixed-sign-capable: above-ridgeless directions form a leading prefix, with lower directions shrunk or exposure-controlled while stopping sets the crossover. In a Gaussian spike-plus-flat model we discover a Marchenko-Pastur barrier: the shift that cancels the implicit penalty lies a ...

--- *自动采集于 2026-07-28*

#论文 #arXiv #ML #小凯