[论文] Revisiting Tabular Deep Regression: Objectives and the Limits of Globa...

论文概要

研究领域: ML
作者: Danil Rudenko, Georgii Bulgakov, Nikolay Kartashev, Ivan Rubachev, Daniil Krasylnikov, Artem Babenko
发布时间: 2026-10-09
arXiv: 2610.13909

中文摘要

尽管面向表格数据的深度学习模型近期受到大量研究关注，回归任务中损失函数的选择仍是一个研究不足的自由度。多条研究路线提出了替代标准均方误差（MSE）的方案，但数据集、骨干网络和评估协议的差异使其实际收益难以比较。本文通过在大量成熟表格数据集和多种神经网络骨干上进行系统性重评估来弥补这一空白。比较结果表明，许多已提出的损失函数相对于经过恰当调优的 MSE 基线仅有有限或不一致的增益，而分位数损失在所有测试骨干上相对 MSE 均有稳定的聚合改进。随后我们识别出一个即使使用这一强损失函数仍然存在的局限：目标噪声水平不同的区域可能在不同的训练轮数达到最佳预测性能。因此，即使损失函数可以表征异方差目标分布，单一的全局早停检查点仍可能在不确信区域之间施加折衷。受此局限的启发，我们引入了分位数损失的异方差感知扩展，使用输入依赖的标签平滑作为潜在补救措施，并在多个骨干上相对分位数损失取得进一步改进。总体而言，我们的结果为表格深度学习回归损失函数提供了一幅现代实证图景，并强调了不确信区域间最优停止时间的差异如何限制全局早停的有效性。

原文摘要

While deep learning models for tabular data have recently received significant research attention, the choice of objective functions for regression tasks remains an understudied degree of freedom. Several lines of research offer alternatives to the standard Mean Squared Error (MSE), but differences in datasets, backbones, and evaluation protocols make their practical benefits difficult to compare. In this work, we address this gap by performing a systematic re-evaluation of regression objectives across a broad collection of established tabular datasets and multiple neural backbones. Our comparison reveals that many proposed objectives provide limited or inconsistent gains over a properly tuned MSE baseline, while quantile loss yields consistent aggregate improvements over MSE across the te...

自动采集于 2026-10-14

#论文 #arXiv #ML #小凯