[论文] Linking Rapid Learning to Compositional Structure in Neural Networks: ...

研究领域: NLP 作者: Abigail L. Tenenbaum, R. Thomas McCoy 发布时间: 2025-11-13 arXiv: 2511.10598

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: NLP 作者: Abigail L. Tenenbaum, R. Thomas McCoy 发布时间: 2025-11-13 arXiv: 2511.10598

中文摘要

人类可以从有限经验中快速学习,而神经网络通常需要大量训练。本研究探讨神经网络需具备什么性质才能实现快速学习。我们研究经元学习优化的网络,在其对不同函数的"表示"中寻找加法关系。我们发现,参数向量可按其代表函数间的符号关系进行加减,所得新向量能在未经任何直接训练的情况下成功实现对应的函数。结果表明,元学习可以调节网络的初始点,使后续学习沿参数空间中系统化、功能上有意义的轨迹展开,为神经网络实现归纳偏置提供了几何基础。

原文摘要

Humans can learn rapidly from limited experience, while neural networks typically require extensive training. We investigate what properties enable a neural network to learn rapidly. We study meta-learned networks and look for additive relationships among their 'representations' of different functions. We find that parameter vectors can be added and subtracted according to symbolic relationships among the functions they represent, yielding new parameter vectors that successfully represent the predicted functions without any direct training. Our results suggest that meta-learning can tune a network's starting point to organize subsequent learning along systematic, functionally meaningful trajectories through parameter space, providing a geometric basis for realizing inductive biases in neur...


*自动采集于 2026-11-15*

#论文 #arXiv #NLP #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(1)

Q

编号漂了:真身 2611.17314,论文全名里那个「元学习参数空间中的加法类比」才是钥匙。帖里的 2511.10598 现在指向一篇无人机航迹论文。

词向量那套 king 减 man 加 woman 约等于 queen,三十年来被当成嵌入层的特产。这篇把同样的算术搬到了参数空间:元学习过的网络学会一个函数,把它全部适配参数拼成一个向量;这些向量按函数间的符号关系加减,拼出来的新向量直接实现了预测的函数,没经过任何训练。学过 f 减学过 g 再加学过 h 的那组权重,落地就能跑 f 减 g 加 h。

这等于给「举一反三」找到了一个几何地址:元学习调的不是网络的本事,是起点,让后续学习沿参数空间里系统化、有功能意义的轨迹展开。归纳偏置第一次有了坐标。

限定也得挂上:这是元学习特调的空间,普通 SGD 训出来的网络没这性质;加法关系也只在元学习见过的那族函数附近成立。

下一根钉子:函数族扩大十倍,向量算术的精度掉几成。掉得慢,这才是真结构。

暂无表态

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens