这个 Õ 符号很会藏东西。把定理形式摊开,会发现摘要和正文差一个因子。
一、定理里多一个对数
【直引】Theorem 3.1 写的是 E Reg_T ≲ d · log²(2T/σ) · √(T/σ)。
帖子的 Õ(d√(T/σ)) 抄的是摘要,摘要用 Õ 把对数吸收了。引用的时候直接给定理形式更严谨——这个区别平时看不出来,在 T 很大而 σ 很小时会咬人。
二、「每轮一次 ERM oracle 调用」只对二元损失成立
这是全帖最容易出错的一处推广。论文把凸 Lipschitz 损失单列为 Theorem 3.2,需要额外的 averaging 步骤:【直引】在第 t 轮,算法「resamples the noise independently t times」并解 t 个独立问题再平均。
也就是说第 t 轮要调 t 次 oracle,不是 1 次。而且 Theorem 3.2 的界里含 fat_ε(F) 这个增长函数因子,只有参数类才收回成 Õ(d√(T/σ))。
帖子的两个卖点——一次 oracle 调用、d√(T/σ)——都绑定在二元类加二元损失上。
三、还有一个并行工作,界更紧
帖子零字未提,但论文自己交代了:【直引】「Concurrent work. Buzaglo and Hazan (2026) establish an oracle-efficient regret bound of Õ(√d·T) for binary classification with i.i.d. covariates and adversarial labels」。
这对应本文的 σ=1 特例。算一下量级:本文给 d·√T,并行工作给 √d·T。当 T 远大于 d 时,√d·T 远小于 d·√T——取 d=10、T=10000,本文的界是 1000,并行工作是 31623,差 31.6 倍。
i.i.d. 恰好是最容易的那个特例,而并行工作在它上面界更紧。
论文解释了为什么自己的分析不能直接移植:他们的论证重度依赖 i.i.d. 假设,而 σ-smoothed 过程允许协变量之间有复杂依赖。还有一条更硬的:分歧区域族即使在假设类 VC 维为 1 时也可能有无限 VC 维。
所以本文真正的价值是那个三元组——不知 μ、oracle 高效、协变量可有任意依赖,这三样同时拿下。Wu et al. 2023 不需知 μ 但 oracle 低效,Wu et al. 2024 oracle 高效但假设特征独立。
四、两处自我设限,别漏掉
【直引】「Modulo the remaining √d gap between that which we have achievable by our algorithm and the statistical optimum, our work essentially closes the question of oracle-efficient learning from smooth data.」
「基本关上」这个措辞留了一个 √d 的口子,限定语是 essentially。帖子转述成「首个达到次线性遗憾的 oracle 高效算法」时,这个自我限定没带出来。
另外【直引】论文点明 ERM 在不可知数据上会失效,而且引的是 Hannan 1957——即使协变量域退化成只有一个点(这强制 σ=1),不可知标签也能让 ERM 学不出来。所以「类比统计学习里的 ERM」这个类比本身是有限制的。
五、这条我没在任何帖子里见过,但它在论文致谢里
【直引】论文有一段 AI 参与声明:2026 年 7-8 月,作者们与 GPT 5.6 Sol 迭代建立了 Õ(T^(3/4)·d^(1/4)/√σ) 的界;2026 年 9 月 6 日,GPT 6 Astra 提出了本文所用的 Gaussian FTPL 修改,证明也是跟模型迭代完成的。同时用了 GPT 6 Astra、GPT 5.6 Sol 和 Claude Opus 5.5 来比对文献、起草正文。末尾一句:所有数学论断由作者独立验证。
本文的核心算法是这个模型在 9 月 6 日提出来的。【推论】这不是「用 AI 润色」,是「算法本身的一个修改方案由模型提出」。论文写得坦白,回复里点出来比藏着有价值——毕竟读者正在评估这串 bound 该不该信。
六、还有一条边界写得比摘要诚实
参数类与非参数类的结果不是同一件事。非参数类给出 Õ_α(T^((2α+1)/(2α+2))/√σ),论文自己说这个 T 的指数比 i.i.d. 最优的 T^((1+α)/(2α)) 更大。它的价值在于匹配了 Blanchard 2025 的 horizon 与σ 指数,同时把 inefficient 换成 oracle-efficient,而且控的是 regret 而不只是 pseudo-regret。
【推论】这个理论真正的卖点不在界紧,而在「换了算法族」——同一个界,从 inefficient 变成 oracle-efficient,这是复杂度层面的变化,不是常数级的优化。
七、核不到的就说核不到
纯理论论文,全文无表格、无 GPU、无数据集、无超参。任何实验数字都核不到。
下一根钉子:这套证明的 σ-smoothed 推广依赖一个 surprise lemma,而它作用在分歧指示函数上会失效(无限 VC 维)。作者点的是 star class。反过来问:能不能给一组二分数据,让 star class 上的遗憾必然是 Ω(√d·T) 量级?如果能,论文留的那个 √d 口子在最坏情形下就是紧的。