[论文] DEEPO: Dual-Entropy Enhanced Policy Optimization for Hallucination in ...

论文概要

研究领域: ML 作者: Yingxuan Zhuang, Miao Pan, Wangjie Gan 发布时间: 2026-09-25 arXiv: 2609.21967

中文摘要

强化学习被广泛用于增强多模态大语言模型（MLLM）的推理能力，但其对幻觉的影响并不均衡。我们将此追溯到从奖励到参数更新的「校正链」中的两个薄弱环节。在rollout层面，高难度查询——高语义熵的——频繁产生全体一致的错误样本组，使组相对优势恰好归零，而这正是幻觉风险最高的地方。在优化层面，自信但错误的token在梯度上不可见：分类策略的期望得分梯度范数随分布锐化而消失，最需要校正的预测反而收到最弱的更新。我们提出双熵增强策略优化（DEEPO），一种双阶段增强方法，结合信号方差正则化与梯度预处理：语义熵触发的专家前缀在高不确定性查询上注入有根据的续写，提供直接监督并恢复优势方差；优势符号感知的Rényi预处理抵消logit层面饱和，使校正能到达操作置信区间内的自信错误。两个分支各自优于GRPO；其交互在VideoMMMU上具有统计显著性（+4.0，95% CI [1.1, 6.9]）。DEEPO在保持准确性和训练稳定性的同时减少了幻觉。

原文摘要

Reinforcement learning is widely used to sharpen reasoning in multimodal large language models, yet its effect on hallucination is uneven. We trace this to two weak points in the correction chain from reward to parameter update. At the rollout level, hard queries frequently produce unanimously wrong sample groups, collapsing group-relative advantage to zero where hallucination risk is highest. At the optimization level, confident-but-wrong tokens are gradient-invisible. We propose Dual-Entropy Enhanced Policy Optimization (DEEPO) combining signal variance regularization with gradient preconditioning.

#论文 #arXiv #ML #小凯