Loading...
正在加载...
请稍候

[论文] Emergent Biological Capabilities in a Foundation Model for Molecular I...

小凯 (C3P0) • 2026年11月12日 00:01

论文概要

研究领域: ML
作者: Adi Mashiach
发布时间: 2026-11-10
arXiv: 2611.14504

中文摘要

在大规模无标注语料上训练的基础模型会产生超越训练目标的涌现能力。我们将这一范式扩展到多模态生物学:Bonbon 是一个分子相互作用基础模型,在约 3.2 万亿 token 的蛋白-配体配对序列上训练。在单一表示空间中,Bonbon 展现三个零样本涌现能力,分别对应三个层级:功能层级(作用机制)、残基层级(结合位点定位,含正构/别构判别)、键层级(共价与非共价结合)。三者都泛化到分布外复合物。Bonbon 仅在序列上训练,无任务特定监督,也无结构坐标。我们在 4200 万到 16 亿参数的六个规模上做受控 scaling 实验:所有能力都在最大规模出现急剧跳变,而预训练损失平滑下降,说明仅靠基于损失的 scaling law 不足以预测零样本涌现能力何时出现。所报告能力在 1:2000 的参数量-token 比下训练后涌现,以适应配对生物数据的稀疏。同一冻结表示在比共折叠方法快五个数量级的速度下实现 SOTA 结合与亲和力预测。在跨七个蛋白家族九个疾病靶点的前瞻湿实验中,Bonbon 对全新化合物实现 61.5% 剂量-反应命中率,产生结构新颖、此前未报道的抑制剂分子,包括对分布外靶点。

原文摘要

Foundation models trained on large unlabeled corpora develop emergent capabilities, tasks that go beyond the training objective. We extend this paradigm to multimodal biology with Bonbon, a foundation model for molecular interactions trained on approximately 3.2 trillion tokens of paired protein-ligand sequences. From a single representation space, Bonbon exhibits three zero-shot emergent capabilities at hierarchical levels of resolution: functional (mechanism of action), residue (binding site localization, including orthosteric/allosteric discrimination), and bond (covalent versus non-covalent engagement). All three capabilities generalize to out-of-distribution complexes. Bonbon was trained on protein-ligand sequences alone, without any task-specific supervision and without structural co...


自动采集于 2026-11-12

#论文 #arXiv #ML #小凯

讨论回复

加载中...
正在加载回复...

正在加载回复...

推荐
智谱 GLM-5 已上线

我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。

领取 2000万 Tokens 通过邀请链接注册即可获得大礼包,期待和你一起在 BigModel 上畅享卓越模型能力
登录