签筒面前人人平等——但你的签筒里没有上上签

算力的三笔账 · 第二笔：抽签账
论文：LAND: Learning an Adaptive Number of Draws for Bayesian Best-of-N Selection
arXiv: 2611.03388 | 2026-11-02 | Aleph Alpha Research

🎰 抽签的智慧

公司年会抽奖，每人抽三次。有人三次都摸到"谢谢参与"，气得想把签筒撕了。有人第一次就摸到了 iPhone 16 Pro Max，手里握着奖品站在签筒前，规则说必须抽满三次——但你再抽两次的欲望是多少？哪怕抽到了充电宝，对你有什么意义？

但规则就是规则：每人必须抽满。所以你看着手里的 iPhone，再摸两个"谢谢参与"；你看着三个"谢谢参与"，也不能多摸一次——尽管你心里清楚，再给你十次机会，说不定就能翻身。

Best-of-N 就是这个"每人必须抽满"的规则。它是大语言模型时代最朴素也最广泛使用的提质手段：给一个输入，让模型生成 N 个候选答案，用一个质量评分函数给每个候选打分，取分数最高的那个。翻译任务里，同一句话让模型翻十次，用 MetricX 给每个翻译打分，取最高分——比只翻一次的质量好得多。代码生成里，同一个问题生成十个实现，跑单元测试，取通过率最高的。推理任务里，同一个数学题采样十条推理链，取答案出现次数最多的。

这个方法简单、通用、有效——但它对所有人一视同仁。不管你面对的是一句简单的"Hello, how are you"，还是一个从句嵌套五层、术语堆砌的法律条款，都给你生成同样多的候选。就像那个不近人情的抽奖规则——你已经摸到 iPhone 了，还必须再抽两次；你已经三次谢谢参与了，也不让你多试一次。

直觉告诉我们这不合理，而且是双重不合理。对前者，多余的抽签是浪费——你已经有了最好的结果，再多抽也只是在消耗算力和时间。对后者，不够的抽签是浪费——你的签筒里可能还有更好的签没摸出来，但你被迫停手了。

有些输入天生简单。模型每次翻译"Good morning"都得到几乎一样的结果，分数波动极小——这是"签筒里全是上上签"的情况，随便抽一个就是好的，多抽十次也不会好到哪里去。有些输入天生困难。模型翻译一个歧义重重的长句，每次结果都不一样，有时惊艳有时翻车——这是"签筒里好坏参半"的情况，多抽几次很可能抽到那个惊艳的版本。

Aleph Alpha 的两位研究者 Koen Oostermeijer 和 Teryn Jones 把这个问题 formalize 了：Best-of-N 的固定分配隐含了一个错误假设——每个额外样本对所有输入的价值相同。 如果这个假设不成立（事实上它确实不成立），那固定分配就是在把好钢花在刀背上。

LAND 做的事情，就是给每个签筒装上摄像头，看你摸出来的签，推断这个签筒的构成，然后动态决定：你还值得再抽一次吗？

🧮 为什么平均分配是错的：一个具体的例子

先看一个更正式的图景，用翻译任务来具体化。

假设你有一堆源文本要翻译，总算力预算允许平均每句话生成 N = 8 个候选。固定 Best-of-N 的做法是：每句话都生成 8 个，取最好的。

但不同的源文本，其候选分数的分布形状完全不同。论文用了一个两层模型来描述这件事：

第一层是源文本之间的差异。 每个源文本有一个隐含的"潜力值" μ——它是这个源文本所有候选翻译的期望分数。有的源文本 μ 很高，比如 0.92——模型对它得心应手，大多数候选都不错。有的源文本 μ 较低，比如 0.65——模型对这类句式或领域不太熟悉，大多数候选都一般。

第二层是源文本内部的差异。 条件在 μ 上，每个候选的分数 X 还有自己的波动 σ²(μ)——这是同一源文本反复生成时分数的离散程度。关键洞察在于：σ²(μ) 不一定跟 μ 相关。 一个 μ = 0.9 的源文本可能 σ² 极小（模型很自信，每次翻都一样好），也可能 σ² 很大（模型在 0.7 到 0.98 之间摇摆）。同样，一个 μ = 0.6 的源文本可能 σ² 极小（稳定地差），也可能 σ² 很大（偶尔灵光一现翻到 0.9）。

现在算一笔账。假设源文本 A 的 μ = 0.9，σ² 极小，候选分数集中在 [0.88, 0.92]。Best-of-8 取最好的那个，大概 0.92——比 Best-of-1 的期望 0.9 只好了 0.02。这 7 个额外样本几乎白花了。

源文本 B 的 μ = 0.7，σ² 很大，候选分数分布在 [0.3, 0.95]。Best-of-8 取最好的那个，可能摸到 0.9——比 Best-of-1 的期望 0.7 好了 0.2。这 7 个额外样本的投资回报率极高。

如果算力预算有限，把源文本 A 的 3 次抽样挪给源文本 B——A 用 5 次（反正也提不多少），B 用 11 次——总预算不变，整体翻译质量会显著提升。这就是自适应分配的核心思想：不是给每个签筒同样多的抽签机会，而是把抽签机会给那些"签筒里还有好签没被摸到"的签筒。

⚖️ 经济学家的直觉：让边际收益处处相等

LAND 的最优分配规则有一个干净的数学形式，漂亮到可以作为经济学教科书里的案例。

对每个源文本，不生成固定 N 个候选，而是生成到"当前最佳分数超过一个源特定的阈值 λ"就停。阈值 λ 的选择标准是：再抽一个签的期望改进，刚好等于一个全局的"算力价格"。

用公式表达就是：

H_μ(λ) = E[(X - λ)⁺ | μ] = Λ

左边 H_μ(λ) 是一个额外抽样在当前最好成绩 λ 之上的期望改进量——"再抽一次，平均能好多少"。具体计算方式是：把所有可能的改进值 (X - λ)⁺（只取正的，即只有比当前最好成绩更好的才算）按概率加权平均。右边 Λ 是一个全局常数，可以理解为一个候选生成的边际成本——在预算约束下，多抽一个签的"价格"。

这个条件在说什么？在最优点，所有源文本的边际改进量应该相等。 如果你给源句 A 多抽一个候选能期望改进 0.05，给源句 B 只能改进 0.01，那把 B 的预算挪给 A 就能用同样的总算力获得更好的总分。只有当所有源的边际改进都等于同一个 Λ 时，预算配置才是最优的——任何偏离都可以通过重新分配来改进。

这本质上是微观经济学里"等边际原则"（equimarginal principle）在采样预算分配上的应用。消费者用有限的预算买各种商品，最优策略是让每块钱在每种商品上的边际效用相等——花在苹果上的最后一块钱带来的满足感，等于花在香蕉上的最后一块钱。同理，花在源句 A 上的最后一个候选带来的期望改进，应该等于花在源句 B 上的最后一个候选。

这个思想在经济学里有更著名的出处：Weitzman 1978 年的Pandora's Box（潘多拉魔盒）问题。潘多拉面前有一排盒子，每个盒子里有未知的奖励，打开每个盒子要付一个成本。她应该按什么策略决定开哪个、开多少、什么时候停？Weitzman 证明最优策略是按每个盒子的"保留价"（reservation value）从高到低依次打开，保留价等于盒子的期望收益减去搜索成本。当所有未打开盒子的保留价都低于搜索成本时，就该停手了。

LAND 把这个思想搬到了 LLM 采样里：每个源文本就是一个盒子，每次生成就是一个签，Λ 就是"打开盒子的成本"。区别在于潘多拉的盒子里每个只能开一次，而 LLM 的签筒可以反复抽——这使得后验更新成为可能，也是 LAND 比经典 Pandora's Box 更进一步的地方。

🧠 但 μ 是看不见的：贝叶斯后验来救场

理论很优美，但 μ 是隐变量——你不知道每个源文本的"潜力值"是多少。你只能通过观察到的候选分数去推断它。看到前三个候选的分数是 0.85、0.87、0.86，你对这个源文本的 μ 的估计是 0.86 左右，σ² 很小——这是"稳定的好签筒"。看到前三个是 0.92、0.45、0.78，你的估计是 μ 中等但 σ² 大——这是"喜怒无常的签筒"。

这就是 LAND 的第二层设计：后验自适应分配（Posterior-Adaptive Allocation）。

从看第一个候选开始，LAND 就在不断更新它对"这个源文本属于哪种类型"的信念。用贝叶斯的话说，它维护一个后验分布 q_t(μ)——在时间 t，基于已观察到的 t 个候选分数，对 μ 的概率分布。每观察到一个新分数 X_{t+1}，就按贝叶斯规则更新：

q_{t+1}(μ) ∝ f_μ(X_{t+1}) · q_t(μ)

这里 f_μ(X) 是"如果真实潜力值是 μ，观察到分数 X 的概率"。直观理解：新证据 X_{t+1} 让你对那些"更容易产出这个分数"的 μ 值赋予更高的信念权重。如果 μ 候选值有 0.7、0.8、0.9 三个，你观察到一个 0.85 的分数，那 μ=0.8 和 μ=0.9 的信念会上升，μ=0.7 的信念会下降——具体升多少降多少，取决于每个 μ 值产出 0.85 这个分数的似然度。

随着证据积累，后验越来越集中——你对这个签筒的构成越来越有把握。初始时，后验就是群体水平的先验（"一般的签筒长什么样"），随着你一个一个地摸签，后验逐渐从"群体平均"过渡到"这个特定签筒的个性"。

然后用后验加权计算期望改进：

Ĥ_t(λ) = ∫ q_t(μ) · H_μ(λ) dμ

这就是"在当前信念下，再抽一次签的期望改进"。注意它跟之前的最优条件不同：H_μ 用的是真实 μ（不可知），而 Ĥ_t 用的是后验加权的平均——这是贝叶斯决策论的标准做法：在不确定性下做最优决策，就是对所有可能的世界按后验概率加权平均。

如果 Ĥ_t(B_t) > Λ——即"在当前最好成绩 B_t 之上，再抽一次的期望改进还大于算力价格"——就继续抽。否则停手。每抽一个签，两个东西同时更新：当前最好的分数 B_t（如果新签更好就替换），和对签筒的信念 q_t。停止阈值 λ_t 因此是动态的——随着你对手头输入的了解加深，"再抽一次值不值"的判断也在不断修正。

举个例子：你摸到的前三个签分别是 0.72、0.85、0.90。当前最好成绩是 0.90。后验已经开始集中——你认为这个签筒的 μ 大概在 0.82-0.88 之间，σ² 中等。此时再抽一次，期望改进 Ĥ_t(0.90) 可能只有 0.01——因为签筒里比 0.90 更好的签不多了。如果 Λ = 0.03（算力价格），那就该停手了。

但如果前三个签是 0.45、0.30、0.62，当前最好 0.62。后验认为 μ 可能在 0.5 左右，σ² 很大。再抽一次摸到 0.75 以上的概率不低，Ĥ_t(0.62) 可能是 0.08——远超 Λ，值得继续。

📦 用离散桶装连续世界：不假设形状的聪明

实现上，LAND 做了一个务实而聪明的选择：不用高斯分布或 Beta 分布来建模分数——作者明确发现参数化分布的尾部行为假设经常不准确，会实质性扭曲成本分配策略——而是用离散经验混合模型。

具体做法分三步：

第一步：把分数装进桶里。 把所有可能的分数区间 [0, 1] 划分成 J 个格子（cell），每个格子 j 有一个代表值 v_j。格子的边界用校准数据的分数分位数来初始化——分数密集的地方格子细一些，稀疏的地方格子粗一些。这样在不均匀分布上保留了更高的分辨率。

第二步：假设有 I 种"签筒品种"。 这是模型对源文本异质性的一种有限近似——不是假设签筒真的只有 I 种，而是说任何签筒的分布形状都可以由这 I 种基本形状的凸组合来逼近。每种类型 i 有一个先验概率 π_i（"随机抽一个签筒，是品种 i 的概率"）和一个在 J 个格子上的分类分布 p_ij（"品种 i 的签筒，摸出的签落在格子 j 的概率"）。

第三步：用 EM 算法拟合。 校准数据里，每个源文本 ℓ 有 n_ℓ 个候选分数，记录每个分数落在哪个格子里。EM 算法通过迭代优化边缘对数似然来估计 {π_i, p_ij}——本质上是在问：什么样的品种混合和品种内分布，最能解释校准数据中观察到的分数模式？

为什么用离散混合而不是参数分布？核心原因是不做形状假设。真实世界中，MetricX 分数的源条件分布可能是不对称的（左偏或右偏）、多峰的（某些类型的源文本有两个常见质量水平）、有厚尾的（偶尔出极品或垃圾）。高斯分布假设对称和单峰，Beta 分布虽然灵活但仍然受限——如果真实分布违反了这些假设，拟合出来的模型会在关键区域（比如高分尾部）给出错误的概率，导致停止阈值算错。离散化则照单全收：不管分布长什么样，只要把数据放进桶里，经验频率就是分布。

🎛️ 校准 Λ 与闭环控制：让预算精确命中

全局算力价格 Λ 怎么定？这不是拍脑袋的——LAND 用了一个非常工程化的方法：在校准数据上回放整个策略。

具体做法：拿一批校准源文本，对每个候选 Λ 值，模拟 LAND 的完整决策过程——从初始后验开始，逐个生成候选、更新后验、检查停止条件、记录实际抽了多少次。算出所有校准源文本的平均抽样数，然后调整 Λ 直到这个平均数等于目标预算 N。

这就像在给水龙头调温：你先打开一个大致的温度，用手试，太烫就往冷调，太冷就往热调，直到刚好。Λ 越大，停止条件越严格（期望改进要超过更高的门槛才继续抽），平均每源文本的抽样数就越少；Λ 越小，停止条件越宽松，抽样数就越多。通过回放校准找到使平均抽样数 = N 的那个 Λ 值。

更精巧的是部署期间的闭环控制：每处理完一批源文本（比如 100 个），比较实际平均抽样数和目标值的差距，在 log 空间里对 Λ 做梯度更新。如果实际抽样多了，就调高 Λ（让停手更容易）；如果少了，就调低（让继续更容易）。更新公式是：

log Λ_{m+1} = log Λ_m + η·(K̄_m - N)/N

其中 K̄_m 是第 m 批的实际平均抽样数，η 是学习率。这个机制确保即使部署数据的分布跟校准数据有轻微偏移，实际预算也能精确追踪目标。实验显示，实际平均预算和目标值的偏差只有 0.01–0.04 次——几乎完美命中。

📊 六组实验，一个结论

实验设计得很扎实。数据来源是 OPUS 平行语料库，只用源语言侧。用 Gemma4 31B 做四个翻译方向：乌克兰语→德语、西班牙语→英语、荷兰语→匈牙利语、土耳其语→俄语。再用 Qwen3 30B-A3B 在两个方向（乌克兰语→德语、荷兰语→匈牙利语）上做交叉验证。评估指标是 MetricX（越高越好），预算范围从 N = 1 到 N = 32。每组实验独立调优 K_max（最大抽样上限）和 τ（温度参数）。

结果清晰而一致：在相同的平均算力下，LAND 比固定 Best-of-N 的 MetricX 分数更高；反过来说，在相同的翻译质量下，LAND 节省 20–40% 的候选生成量。

具体看几个数字。在 Gemma4 31B 的四个翻译方向上，在图中标注的工作点上，LAND 用大约 20-30% 更少的抽签就达到了固定 Best-of-N 相同的 MetricX 分数。加上 Qwen3 30B-A3B 的两个方向，六组实验的节省率全部落在 20-40% 的区间内。

省幅因语言方向而异。乌克兰语→德语的节省最大最稳定——这个方向的分数分布可能方差模式特别适合自适应分配：简单的句子极简单（不值得多抽），困难的句子极困难（多抽很有用），两极分化使得自适应策略的优势最明显。荷兰语→匈牙利语的节省相对较小，尤其是在大预算和 Qwen3 上——可能是这个方向的分数分布更均匀，自适应分配和固定分配的差距缩小。

统计稳定性也不错：同一数据不同随机顺序的重跑中，节省率的标准差约 0.8–1.5 个百分点。这说明 LAND 的行为不是碰运气——它对输入顺序不敏感，后验更新和 Λ 校准的组合是鲁棒的。

还有一个值得一提的细节：LAND 瞄准的是平均预算 N，不是硬约束——单个源文本的抽样数可以远超 N（如果签筒特别不确定的话），也可以远低于 N（如果很快就摸到了极好的签）。但全局平均被 Λ 的闭环控制精确锁定在 N 附近。这种"局部灵活、全局严格"的设计在工程上非常实用：它允许系统在需要的地方多花，在不需要的地方省，但总量不失控。

🆚 为什么 BEACON 反而帮了倒忙

论文还做了一个值得深思的对比实验：BEACON——另一个贝叶斯自适应采样方法，来自 Google。BEACON 把每个 prompt 的奖励分布建模为高斯分布，在线更新均值和方差，然后用贝叶斯有限时域停止规则决定何时停。

在同样的实验设定下，BEACON 的表现令人意外：它在所有预算、所有语言对、所有模型上都不如固定 Best-of-N——它用了更多算力才达到相同的 MetricX 分数。一个旨在节省算力的自适应方法，反而比不自适应的基线更浪费。

为什么？LAND 的作者给出了两个可能的解释，都很有启发性。

第一，高斯假设本身的问题。 MetricX 的源条件分布可能呈现单参数分布族（哪怕截断的高斯）难以捕捉的形状——不对称、多峰、厚尾。当分布有这些"非高斯"特征时，BEACON 的高斯拟合会在关键区域给出错误的概率估计。比如真实分布右偏（大部分分数中等，偶尔有极高的），高斯拟合会低估高分尾部的概率，导致停止阈值定得太低——停太早，错过了那些偶尔出现的极品候选。LAND 也测试过参数化分布的版本，发现同样受这个问题困扰——这就是为什么它最终选择了离散经验混合。

第二，冷启动 vs 温启动。 BEACON 对每个新源文本从零开始学习其奖励分布——初始用一个宽泛的高斯先验，然后只靠该源的少量观测来更新。这意味着前几个候选的决策几乎是在瞎猜：你只看到两个分数就估计均值和方差，不确定性极大，要么过于自信地停手（漏掉了好签），要么过于保守地继续（浪费了签）。而 LAND 利用了跨源文本的群体结构——从校准数据中学到的"源类型混合模型"让它对每个新源有一个合理的先验：即使只看了一个候选，它也能说"这个分数在这种签筒里是高还是低，这个签筒大概是哪种品种"。

这个对比揭示了一个深层方法论教训：在低预算场景下，利用群体结构比逐源独立学习更重要。 你有 8 次抽签机会，是要每次根据前两次的结果重新学一遍签筒长什么样（冷启动），还是利用"这种签筒我见多了"的经验快速定位（温启动）？当每个源的观测很少时，先验的质量决定了后验的质量——而好的先验只能来自跨源的学习。

🚧 诚实的边界：LAND 不承诺什么

LAND 的限制也很坦诚，作者没有回避。

第一，校准数据是必要的。 LAND 需要一个校准数据集——包含每个源文本多个候选分数——来拟合混合模型和校准 Λ。这引入了一个固定 Best-of-N 不需要的前期成本。这个成本包括：为校准源文本生成多个候选（比如每源 16-32 个），用评分函数打分，跑 EM 拟合，回放校准 Λ。如果你只想为一个很小的数据集生成翻译（比如 100 句），校准的成本可能超过节省的成本——杀鸡用了牛刀。LAND 最适合的场景是大规模、重复性的数据生成——比如为一个持续更新的 MT 系统持续生产训练数据。

第二，混合模型在部署期间不更新。 它用了每个源的 posterior 更新和 Λ 的批次调整，但不会用新处理的源文本的观测来更新混合参数 {π_i, p_ij}。这意味着如果部署数据的分布跟校准数据不同——比如校准用的是新闻文本，部署用的是法律文本——混合模型就无能为力了。理想的方案是在线更新混合参数（比如每隔 N 个源文本用所有已观察的分数重新跑 EM），但这在计算上代价不小，也引入了自己的复杂性（模型漂移、过拟合近期数据等）。

第三，用候选数量代理算力是近似的。 不同候选的生成长度不同——有的翻译一句话就完了，有的要输出几百个 token——实际 GPU 时间和能耗跟候选数量不成正比。LAND 优化的目标是"在给定候选数量下最大化质量"，但真实的部署约束可能是 GPU 小时或美元。要把 LAND 的节省映射到 wall-clock 时间，需要额外建模长度分布的影响。

第四，只在机器翻译和 MetricX 上验证过。 LAND 的公式确实不特定于翻译——任何可以多次采样、用连续标量打分、取最优候选的场景都适用：代码生成（跑测试打分）、摘要（用 ROUGE 或学习到的评分）、甚至分子生成（用对接打分）。但打分的质量决定了分配的合理性——换一个跟最终目标对齐不好的评分函数，LAND 就可能把过多预算花在"评分器喜欢但人不喜欢"的候选上。Garbage in, garbage out。

🔮 签筒哲学的泛化

LAND 的思想可以走得更远。Best-of-N 不只在翻译里——它是 LLM 时代的一个元模式。RLHF 中用奖励模型对多个候选排序选最好的、代码生成中生成多个实现跑测试、推理中用 Self-Consistency 对多条 CoT 路径投票、甚至扩散模型中跑多个 seed 选最好的——都是"多抽几次取最好"的思路。

LAND 的框架天然适用于所有这些场景：只要你能定义一个连续的质量分数，就能校准出混合模型、设定算力价格、自适应分配。不同的场景只需要替换评分函数和校准数据，核心机制——离散经验混合、贝叶斯后验更新、边际改进停止条件、Λ 闭环控制——全部通用。

更深层的启示是：在 LLM 的世界里，"平等"不等于"公平"，更不等于"高效"。 对每个输入给同样的算力，看起来公平，实际上是对资源的误配。真正的效率不是更用力地抽样，而是更聪明地分配——把有限的抽签次数给那些签筒里还有上上签没被摸到的人。

论文引用了一个 1978 年的经济学直觉：Pandora 打开盒子时用的不是"每个盒子开几次"的规则，而是"这个盒子还值得开吗"的判断。四十多年后，这个判断被写进了贝叶斯后验更新的代码里，帮大语言模型省下了 20-40% 的算力。

参考文献

• Oostermeijer, K., & Jones, T. (2026). LAND: Learning an Adaptive Number of Draws for Bayesian Best-of-N Selection. arXiv:2611.03388. Aleph Alpha Research.
• Weitzman, M. L. (1978). Optimal Search for the Best Alternative. Econometrica, 46(3), 641-654.
• Wan, G., et al. (2025). BEACON: Bayesian Optimal Stopping for Efficient LLM Sampling. arXiv:2510.15945.
• Raman, V., Asi, H., & Kale, S. (2025). AdaBoN: Adaptive Best-of-N Alignment. arXiv:2505.12050.
• Peter, J., et al. (2023). There's No Data Like Better Data: Using QE Metrics for MT Data Filtering. WMT 2023.
• Juraska, J., et al. (2024). MetricX-24: The Google Submission to the WMT 2024 Metrics Shared Task. WMT 2024.
• Kim, Y., & Rush, A. (2016). Sequence-Level Knowledge Distillation. EMNLP 2016.

#LLM #BestOfN #贝叶斯 #自适应采样 #机器翻译 #效率 #算力 #论文解读 #费曼风格