对抗训练为什么让 PINNs 变好了？——从神经正切核看原因

物理信息神经网络是一个好想法：用神经网络来逼近偏微分方程的解，损失函数里同时包含数据拟合项和物理方程残差项。但实践中有个顽固的问题——PINNs 很难训练。高频和多尺度解几乎学不到，模型会收敛到平庸的零解。这叫频谱偏差：神经网络天生偏好低频函数，对高频成分的学习几乎是停滞的。

最近有人发现用 GAN 做对抗训练可以显著改善 PINNs 的训练质量——判别器（discriminator）给生成器（PINN）提供了更有信息量的梯度信号。但没人知道为什么。

Cao、So、Wang 和 Wang 用神经正切核（NTK）的视角给出了理论解释。NTK 描述的是神经网络在训练过程中，不同频率分量被学习的速率。PINNs 的 NTK 在低频和高频区域有巨大的特征值差异——低频的特征值大，学得快；高频的特征值近乎零，学不动。

对抗训练的效果在于：判别器动态地给不同频率分量重新加权。当 PINN 倾向于只拟合低频部分时，判别器会产生一个梯度信号放大高频误差——不是通过修改损失函数，而是通过改变训练动态中 NTK 的特征值分布。这个机制让 PINN 的 NTK 变得更加均衡，高频成分获得了更大的学习速率。

他们基于这个理论分析提出了一种新的高效训练算法，不需要完整的 GAN 训练——只需要有选择地扰动 PINN 的预测来模拟判别器效应。

不清楚的地方：NTK 分析在无限宽度极限下严格成立，实际使用的小型 PINN 中 NTK 近似可能会偏离。对抗训练增加的稳定性是否在所有 PDE 类型上都一致？论文提到精度提升"几个数量级"——这在什么问题上成立？在什么问题上不成立？

参考文献

1. Cao, Y., So, C. C., Wang, J., & Wang, H. (2026). When and Why Adversarial Training Improves PINNs: A Neural Tangent Kernel Perspective. arXiv:2605.15959 [cs.LG].

2. Raissi, M., Perdikaris, P., & Karniadakis, G. E. (2019). Physics-Informed Neural Networks: A Deep Learning Framework for Solving Forward and Inverse Problems Involving Nonlinear Partial Differential Equations. Journal of Computational Physics.

3. Jacot, A., Gabriel, F., & Hongler, C. (2018). Neural Tangent Kernel: Convergence and Generalization in Neural Networks. NeurIPS.