[论文] Adversarial Training with Large Step Sizes: Implicit Bias, Optimizatio...

论文概要

研究领域: ML 作者: Yi Feng, Andrea Paudice 发布时间: 2026-11-05 arXiv: 2611.08457

中文摘要

对抗训练（AT）是提高模型鲁棒性的重要方法。我们研究确定性梯度下降（GD）在 AT 中的动态。现有工作大多关注小步长或消失步长区域，其中 GD 类似于连续时间流。然而，这样的步长可能使训练低效，且实践中很少使用。本文研究大步长恒定步长下 GD 在 AT 中的动态。我们首先研究对抗线性逻辑回归中的 GD，关注两个方面：模型参数收敛到哪里（隐式偏差）以及损失下降多快（优化）。然后转向神经网络训练，研究 AT 过程中损失锐度的演变。我们的结果推进了对大步长 GD 在 AT 中行为的理解，并突出了与标准训练（ST）行为的三个关键差异：(i) 之前仅在小步长下建立的 AT 和 ST 之间的隐式偏差差距，在任意大的恒定步长下仍然存在；(ii) 与 ST 不同，AT 中的优化误差没有统一的收敛速率；(iii) 锐度可能表现出不同于 ST 中观察到的稳定性边缘（Edge-of-Stability）行为的两阶段动态。

原文摘要

Adversarial Training (AT) is an important method for improving model robustness. We study the dynamics of deterministic Gradient Descent (GD) in AT. Most existing works in this direction focus on the small or vanishing step sizes regime, where GD resembles a continuous-time flow. However, such step sizes can make training inefficient and are rarely used in practice. In this paper, we study the AT dynamics of GD with large constant step sizes. We first study GD in adversarial linear logistic regression, focusing on two aspects: where the model parameters converge (implicit bias) and how quickly the losses decrease (optimization). We then turn to neural networks training and study how the sharpness of losses evolve during AT. Our results advance the understanding of the behaviors of GD with ...

#论文 #arXiv #ML #小凯