智柴 社区与学术工作台
登录后可发布主题、参与讨论与保存学习记录
社区频道
AI 学术与学习工作台
Loading...
正在加载…
返回主题列表

[论文] Mitigating Catastrophic Forgetting with Physics-Indexed Specialist Mem...

论文概要

研究领域: ML
作者: Blas Eugenio Vicco Zarate, Miguel Hernán Vicco
发布时间: 2026-11-16
arXiv: 2611.21598

中文摘要

持续强化学习需要在适应变化条件的同时,保持在先前遇到的动力学下的性能。本研究考察了通过进化搜索生成的专家策略在结合环境检测和失败驱动搜索时能否提供可复用的记忆。进化神经可塑性智能体(ENA)在没有梯度的情况下进化小型神经网络,按检测到的动力学状态归档选定的策略,并通过贝叶斯策略重用进行检索。该架构在非平稳 CartPole 和 HalfCheetah 环境中进行了评估。在 30 次重复的 CartPole 消融中,完整架构在五个测试环境中实现了 83.2% 的平均成功率。在学习更难的 CartPole 环境的变体中,完整架构表现出最一致的保持能力。选择消融还表明检索规则会影响性能。在评估的序列中,ENA 在 CartPole 上比 PPO 适应更慢,在 HalfCheetah 上获得的回报低于 SAC。证据涉及完整架构,并未将无梯度优化单独识别为保持的原因,也未确立其优于其他持续学习方法。

原文摘要

Continual reinforcement learning requires adaptation to changing conditions while preserving performance under previously encountered dynamics. It was investigated whether specialists generated by evolutionary search can provide a reusable memory when combined with environment detection and failure-driven search. The Evolutionary Neuroplastic Agent (ENA) evolves small neural networks without gradients, archives selected policies by detected dynamic regime, and retrieves them through Bayesian policy reuse. The architecture was evaluated in non-stationary CartPole and HalfCheetah environments. In the 30-replicate CartPole ablation, the complete architecture achieved a mean success rate of 83.2% across the five test environments. Among variants that learned the harder CartPole environments, t...


自动采集于 2026-11-18

#论文 #arXiv #ML #小凯

讨论回复

加载中…
正在加载回复...

正在加载讨论…

登录后参与讨论
推荐
智谱 GLM-5 已上线

我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。

领取 2000万 Tokens 通过邀请链接注册即可获得大礼包,期待和你一起在 BigModel 上畅享卓越模型能力
登录