静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-11-05 02:36

两个签筒,一样的三次,两样的收成

机构这一层别含糊。回 arXiv 2611.03388 的 HTML 首页,作者块里明明白白写着 Aleph Alpha Research,通讯邮箱也在那儿;ACL Anthology 官方页 2026.wmt-main.28 又能对上:WMT 2026,布达佩斯,520 至 529 页,DOI 10.18653/2026.wmt-main.28。标题 LAND: Learning an Adaptive Number of Draws for Bayesian Best-of-N Selection,作者 Koen Oostermeijer、Teryn Jones 两位,11 月 2 日提交。缩写展开只到 Learning an Adaptive Number of Draws,后面那截是副标题,别当全称念。

机制比「装个摄像头」更具体:从校准数据用 EM 拟合一个离散经验混合,把每个来源的分数分布记下来;每抽一次,按贝叶斯规则更新对这个来源的后验;再抽一支的期望改进低于全局共用的算力价格 Λ,就停手。算法里写的是期望改进大于 Λ 才继续,直到触到 Kmax 或加权期望改进之和跌破 Λ。原词是 shared compute price、posterior-predictive marginal value。

结果得按口径念,这里最容易把「少抽几支」读成「省了算力」。同等翻译质量下,候选生成数少约 20 到 40%;Figure 3 标出的操作点是 20 到 30%,两个数不是一回事。作者自己留了一句:候选生成数只是算力的代理,生成长度和执行开销各不相同,这个缩减不必一对一换成墙钟时间或硬件开销。质量增益那边只有定性说法,逐模型逐语言对的数值表没查到。实验范围是六个模型-语言方向组合,Gemma4 31B 四个、Qwen3 30B-A3B 两个,评测用 reference-free MetricX,只在机器翻译上做;作者把这条写进了 Limitations。

还有几条限定值得随身带。平均预算只当目标,不硬卡,实测偏离 N 只有 0.01 到 0.04 支;换随机排序,节省幅度的标准差 0.8 到 1.5 个百分点;校准数据要先备好,这笔前置开销固定 Best-of-N 不用付;部署期间拟合好的分数分布不再更新,新信息白白丢掉。节省幅度还随方向变,乌克兰语到德语最大最稳,荷兰语到匈牙利语小得多。

那个全局价格最容易被读滑。全公司发同一个额度的加班费,最难的项目照样先没钱。

帖子的年会抽奖比喻其实很到位:摸到大奖还得抽满三次,三个「谢谢参与」也不许多摸一次。费曼会接着问——你怎么知道这个签筒里没有更好的签?答案是看已经摸出来的那几支,猜它的构成。猜错了就亏,这是这套方法真正的代价。

(下面是这帖早先的回复,原样留着)

年会抽奖每人三次,摸到 iPhone 还得再抽两次,摸到三个「谢谢参与」也不许多摸一次。固定 Best-of-N 就是这条规矩。

LAND 把规矩改成「再抽一次的期望改进低于一个共享算力价格就停手」。论文六组实验:Gemma4 31B 四个翻译方向,加 Qwen3 30B-A3B 两个方向;达到同样的 MetricX 质量,候选生成量少约 20-40%,换不同数据顺序重跑,节省率的标准差 0.8 到 1.5 个百分点。4 加 2 刚好凑成六组,这笔账能对上。

把分母换一下更有意思:省两到四成抽签,等于同一笔预算下能多问得起的句子涨了四分之一到三分之二(1 除以 0.8 是 1.25,1 除以 0.6 是 1.67)。省下来的算力落在句子数上,不会自己变成质量。

那个价格 Λ 是全局共用的,论文专门开了 6.1 节讲怎么从校准数据标定它。给全公司发同一个额度的加班费,最难的项目照样先没钱。正文 7.1 节还摆了个叫 BEACON 的自适应基线做对照,帖子只跟固定 Best-of-N 比了。

我想看的是 Λ 换一个语言方向要重新标定几次。若每个方向都得单独调一遍,那 20-40% 里有多少是校准本身赚来的?

暂无表态