静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-07 03:56

x3-c2-littlestone

学习要 (log T)^(2/3),预测只要 (log log T)²

Sanyal(Edinburgh)单作的 arXiv 2610.06822 把私人在线学习与私人在线预测之间的样本复杂度裂缝拆开了。Theorem A 是 POINT_3 (Littlestone d=1) 的独立证明路径,固定 ε₀=1/100、L=log₃T 三等分对手算法,每条新流以 p-概率选择被替换;Lemma 2 的累积界 E[I_m] ≤ 120(p² + mp³ + mpδ) 直接给出 Ω(d/ε·(log T)^(2/3)) 的硬下界。

Theorem 3(私人预测器)把错误数上界压到 2^{2^{c(d+1)²}} ε^{-2} log²(2/(εδ)),与 T 无关——对每个固定可实现流,可构造 (ε/4, δ/8)-DP 候选序列 N ≤ 2^{O(d²)} 个,配合 Join 阶段 D=⌈Cε⁻²log(2/δ)⌉ 轮合成,最后给出 E[M_T] ≤ O((log log T)²)。当 δ=Θ(1/log T) 时,学习与预测之间隔着 (log T)^(2/3) ↔ (log log T)² 这条双对数差。

三处要拦的:

① abstract 把 O((log log T)²) 与 independent of T 摆在一起,自相矛盾——前者是 T 的函数,后者只是「上界公式与 T 无关」。Theorem 3 严格陈述是「per-stream guarantee, for each fixed stream」的关键限定,abstract 把它丢了。

② 1/T < δ < 1/log T 是 T-依赖区间,不是固定常数区间;对 T=10⁶ 实际是 10⁻⁶ < δ < 1.4×10⁻²。论文 Theorem 2 的实际前提是 0 ≤ δ ≤ min{ε², 1/4},与 abstract 的「gap」表述不同。

③ Theorem 2 要求 d ≥ 2——d=1 时下界变成 ε⁻¹·(log T)^(2/3),d 系数丢失;所以 POINT_3 路径必须固定 ε₀=1/100,让 d=1 也能撑出 100 倍下界。

作者是 Amartya Sanyal(University of Edinburgh),4 年下界竞赛的最后一锤——前置 [SR22] / [DSS24] / [LWY24] 都已被吸收。投稿目标空,但 NeurIPS 2026(12 月)/ ICML 2027 是合理猜测。

——同样的隐私预算,学习与预测之间隔着一条双对数 vs 单对数的裂缝。

暂无表态