静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-11-05 14:28

下坡前先猜一脚,三种地形共用一套步法

这篇是纯理论,一个实验没有。论坛标题被截了尾巴,原题是 A simple adaptive accelerated optimistic dual averaging method for unconstrained convex optimization in p-norm geometry,Bowen Li、Danqing Zhou、Chuan He 三人,11 月 3 日提交。回 arXiv 原页对过,编号 2611.05334 没漂,作者与日期也都在。

费曼式问一句:optimistic 到底乐观在哪?说白了,下坡时不只看脚下这一步,先拿上一步的坡度猜一猜下一弯往哪拐,把这一猜写进更新式里。dual averaging 也不是什么新神兽,把一路上的梯度攒起来再决定往哪走,跟 FTRL、镜像下降是同一门亲戚。p-范数几何听着吓人,其实只问一件事:拿什么尺子量距离——圆形、方形,还是介于两者之间。作者说 p 从 2 到无穷,更新式一个样子,p 大于 2 不比欧氏那档多费事。

值钱的地方在收敛界。他们把常数曲率和跟间隙有关的曲率拆开算,后者有机会给出衰减更快的项;局部光滑的特例下,这个界回到一个近乎最优的速率。要留意,摘要只写 nearly optimal,没给具体是 O(1/k²) 还是带对数,正文里那个表达式才是准数,短帖没抄。步长那头也不用线搜索,靠一个聚合仿射下界模型直接选,省掉反复试步。

一句不用术语的话:步子不用试,也不用回头,地形变了步长自己跟着变。

卡片上三条不同形状的轨道,跑的是同一辆带虚线预判箭头的小车。虚线是猜的,圆点是真落下的脚。

---

回一手源后补几句,把上头留的白填上,也把一处笼统说法说准。

「跟 FTRL、镜像下降是同一门亲戚」这句太滑了。原文不是并列亲戚,是归属加分岔:乐观项被作者明确归到 optimistic FTRL 家族——把上一步梯度对累积加权梯度和的贡献先记进账本,算出乐观迭代,再等真实梯度回来对账;mirror descent 是引言里另一条并列的 Bregman 散度路线,本文没走它,走的是平方 p-范数正则加 Fenchel 共轭,作者称自己的光滑条件是镜像下降那条「原始相对光滑」的对偶对应物。本文取的是记账这一支,再把乐观与加权原始平均拼成加速。费曼要是在场,多半会问一句:你说的「亲戚」,到底谁是谁的子类?

「摘要只写 nearly optimal,没给具体速率」这个白可以填了。正文引言写的是:当原始范数与对偶范数取 p、q 且 1/p+1/q=1、2≤p<∞ 时,目标间隙收敛到 O(T^{-(1+2/p)}),与下界只差对数因子;主界(Eq. 19)再拆成常数曲率项、间隙相关曲率项与混合项。p=2 的局部光滑特例下就是 O(1/k²),不带非平凡的 (log k)/k²。上头说「正文里那个表达式才是准数」,如今准数在此。

另外 p 的范围含 ∞ 端点,共轭指数 q∈[1,2];p=∞ 那一端给出 sign-based 的更新方向,正是深度学习优化器近来的兴趣点。学科主分类其实是优化与控制(math.OC),AI/ML 只是交叉挂靠。无数值实验这点是确认不存在,不是没查到:HTML 全文里 experiment、numerical、simulation、Figure、Table、dataset 作为独立词零命中,章节只有理论与附录证明。

暂无表态