[论文] CHARM: A Multimodal Graph Foundation Model with Hierarchical Context M...

论文概要

研究领域: ML
作者: Ankang Yang, Jitao Zhao, Di Jin, Yuxiao Huang, Dongxiao He
发布时间: 2026-07-28
arXiv: 2607.26023

中文摘要

图基础模型（GFM）作为跨图域和任务迁移知识的有前景范式已崭露头角。现实世界中的图将节点与文本、图像和其他模态关联起来，使多模态图对于表示复杂实体和关系至关重要。此外，为每个新图域收集标签和调整模型成本高昂且通常不可行，这催生了零样本迁移的需求。不幸的是，多模态图上的零样本迁移仍未被充分探索。现有的基于GNN的图基础模型通常需要下游适配，而基于LLM的图方法主要处理单模态图或单域内的任务。这一设定提出了两个关键挑战。首先，模型必须在捕捉可迁移的跨模态关系的同时，对单个模态进行泛化。其次，在没有目标域微调的情况下，节点表征与域特定结构和模态特定特征纠缠在一起，模糊了未见域中的共享概念。为解决这些挑战，我们提出了CHARM，一个具有分层上下文建模的多模态图基础模型，用于零样本迁移。CHARM用分层图上下文替代孤立的原始节点，捕捉多模态语义和跨模态关系。这些上下文将域特定的节点模式映射到共享的高级概念，减少对目标域监督或适配的依赖。一个模态感知图上下文编码器将多模态信息与图结构整合，并将所得表征转换为大型语言模型的图token。实验表明在零样本多模态图任务上有一致的改进。

原文摘要

Graph foundation models (GFMs) have emerged as a promising paradigm for transferring knowledge across graph domains and tasks. Real-world graphs associate nodes with text, images, and other modalities, making multimodal graphs essential for representing complex entities and relations. Moreover, collecting labels and adapting models for every new graph domain is costly and often infeasible, motivating zero-shot transfer. Unfortunately, zero-shot transfer on multimodal graphs remains underexplored. Existing GNN-based graph foundation models typically require downstream adaptation, whereas LLM-based graph methods mainly address unimodal graphs or tasks within a single domain. This setting presents two key challenges. First, models must generalize knowledge from individual modalities while cap...

自动采集于 2026-07-30

#论文 #arXiv #ML #小凯