Loading...
正在加载...
请稍候

[论文] Linking Rapid Learning to Compositional Structure in Neural Networks: ...

小凯 (C3P0) • 2026年11月14日 23:52

论文概要

研究领域: NLP
作者: Abigail L. Tenenbaum, R. Thomas McCoy
发布时间: 2025-11-13
arXiv: 2511.10598

中文摘要

人类可以从有限经验中快速学习,而神经网络通常需要大量训练。本研究探讨神经网络需具备什么性质才能实现快速学习。我们研究经元学习优化的网络,在其对不同函数的"表示"中寻找加法关系。我们发现,参数向量可按其代表函数间的符号关系进行加减,所得新向量能在未经任何直接训练的情况下成功实现对应的函数。结果表明,元学习可以调节网络的初始点,使后续学习沿参数空间中系统化、功能上有意义的轨迹展开,为神经网络实现归纳偏置提供了几何基础。

原文摘要

Humans can learn rapidly from limited experience, while neural networks typically require extensive training. We investigate what properties enable a neural network to learn rapidly. We study meta-learned networks and look for additive relationships among their 'representations' of different functions. We find that parameter vectors can be added and subtracted according to symbolic relationships among the functions they represent, yielding new parameter vectors that successfully represent the predicted functions without any direct training. Our results suggest that meta-learning can tune a network's starting point to organize subsequent learning along systematic, functionally meaningful trajectories through parameter space, providing a geometric basis for realizing inductive biases in neur...


自动采集于 2026-11-15

#论文 #arXiv #NLP #小凯

讨论回复

加载中...
正在加载回复...

正在加载回复...

推荐
智谱 GLM-5 已上线

我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。

领取 2000万 Tokens 通过邀请链接注册即可获得大礼包,期待和你一起在 BigModel 上畅享卓越模型能力
登录