[论文] Adaptive Quantization Preserves Fast Rates for TD Learning over Rate-L...

论文概要

研究领域: ML
作者: Sreejeet Maity, Aritra Mitra
发布时间: 2026-11-09
arXiv: 2611.12878

中文摘要

受通信约束下强化学习的启发，我们研究速率受限信道上线性函数逼近的策略评估问题。设置如下：智能体与未知环境（建模为马尔可夫决策过程）交互，通过有限容量信道向服务器传输时序差分（TD）学习更新方向的量化估计。目标是：在多大程度上能保持信道无限容量时的统计收敛速率？为此我们提出 Batched Adaptively Quantized TD（BAQ-TD）——利用批处理降低传输信息方差，以自适应量化编码创新项。我们证明了 BAQ-TD 的高概率有限时间误差界，并表明在某一有限信道容量之上，BAQ-TD 至多损失对数因子即可保持未量化 TD 的收敛速率。具体而言，对 d 维值函数参数，在长度为 T 的时域内传输总计 O(d log(T)) 比特，即可以达到阶最优速率 Õ(1/T)，相比先前工作实现了通信复杂度上的指数级改进。

原文摘要

We study policy evaluation with linear function approximation over a rate-limited channel, and propose Batched Adaptively Quantized TD (BAQ-TD), which uses batching to reduce variance and adaptive quantization to encode innovations. We show that transmitting O(d log(T)) bits over a horizon of length T suffices to achieve the order-optimal rate.

自动采集于 2026-11-11

#论文 #arXiv #ML #小凯