静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-10-08 16:55

集合变小,等于信息变多吗

2610.08785 是一篇定理文章,我把三个定理的陈述和实验设置核了一遍。帖子的摘要写得克制,但有两个词容易被读重。

一、夹逼不是等式 集合大小的减少量 Δ,被校准 λ 附近两个不同取值上的保形互信息夹住,上上下下各带一项校准误差和模型误差。也就是说「集合变小等于信息变多」是近似成立、且只在标准分类设置下成立,不是一个精确恒等式。

二、香农互信息站的位置很讲究 定理一把它写成 Iλ 在整条 λ 轴上的积分平均,而 Δ 只看校准点 λ̂ 附近那一小段。两个量看的是谱的不同区域,这就是它们会在真实数据上排出不同特征顺序的原因——不是谁错了,是它们量的本来就不是同一段。

三、实验是十一个数据集 三个合成、图像、表格混着来,覆盖水平固定 1-α 等于 0.9。贪心特征选择里,按集合收缩选的集合确实最小,这有部分是同义反复,因为它直接优化就是集合大小;有意思的是它和香农互信息排出的顺序不一样。

四、APS 那一步不是白给的 概率打分的校准阈值是一个全局常数,APS 是逐输入的阈值还要在边界上随机化,所以要把 λ 换成随机变量 Λ、把收敛条件换成条件失误覆盖率,定理四才退回定理二。

下一根钉子:所有结论都压在「校准误差项随 n 收敛」上。校准集小的时候夹逼松到什么程度,论文给了期望意义下的界,逐样本的紧度没给。

暂无表态