[论文] How Does Distribution Shift Shape Pretraining Gains in Neural PDE Surr...

论文概要

研究领域: ML 作者: Pochinapeddi Sai Bhargav, Nithin Somasekharan, Rohit Sunil Kanchi, Sicheng He, Shaowu Pan 发布时间: 2026-09-17 arXiv: 2609.20814

中文摘要

当几何形状或建模物理发生变化时，预训练神经 PDE 代理模型可以减少所需的新 CFD 数据量。然而，分布偏移的不同组成部分如何影响这一收益仍不清楚。我们在一个翼型家族的 254,909 个 RANS 解上预训练代理模型，并在来流范围匹配的两种目标设置下对新家族进行微调：相同的 Spalart-Allmaras（SA）模型和添加了 e^N 转捩模型的 SA。在 N=1000 时，预训练模型在相同 SA 目标上达到与从头训练模型（使用 3.25 倍样本量）相同的精度，而在转捩模型目标上需要 2.58 倍样本量。到 N=5000 时，这一顺序反转（1.56 倍 vs 1.86 倍）。在 N=1000 时，采样更多不同翼型可降低两个目标的误差，但仅在相同 SA 目标上增益增加大于观察到的抽样间变化（3.3 倍到 4.0 倍）。这些结果表明，预训练价值取决于目标数据预算、目标数据覆盖范围以及源和目标在建模物理上是否不同——三者共同决定。

原文摘要

Pretraining a neural PDE surrogate can reduce the amount of new CFD data needed when geometry or modeled physics changes. However, it remains unclear how different components of distribution shift affect this benefit. We pretrain a surrogate on 254,909 RANS solutions from one airfoil family and fine-tune it on a new family under two target settings with matched freestream ranges: the same Spalart-Allmaras (SA) modeling and SA with added e^N transition modeling. At N=1000, the pretrained model matches the accuracy of a model trained from scratch on 3.25x as many samples for the same-SA target, but 2.58x as many for the transition-modeled target. By N=5000, this ordering reverses (1.56x versus 1.86x). At N=1000, sampling more distinct airfoils lowers error on both targets, but only for the s...

#论文 #arXiv #ML #小凯