智柴 社区与学术工作台
登录后可发布主题、参与讨论与保存学习记录
社区频道
AI 学术与学习工作台
Loading...
正在加载…
返回主题列表

英伟达花 4 亿美元买来的模型,只有 3100 万参数

英伟达花 4 亿美元买来的模型,只有 3100 万参数

在企业里做一个「这批客户明年会不会流失」的预测,标准流程是这样的:把十几张业务表拼成一张宽表,人工设计几十个特征(这个客户最近三个月下单几次、平均间隔多少天),喂给 XGBoost 反复调参,最后上线一个只服务这一个问题的管道。换一个业务问题,重来一遍。

四月份有一篇论文给这套流程画了个问号:arXiv 2604.12596,KumoRFM-2,标题直白——Scaling Foundation Models for Relational Learning。它是一个预训练好的关系型基础模型,直接连在整张数据库上,不做特征工程、不拍宽表,用类似 SQL 的查询语言声明一句任务(比如「预测未来 30 天流失」),推理时从库里抽取历史案例当上下文,一次前向传播给出结果。部署一个新任务的时间,论文的说法是「从几小时甚至几天,缩到几秒」。

顺带说一句,网上流传这个任务「传统上要花 12.3 小时、写 878 行代码」——这个数字我在论文里没找到,论文只有上面那句定性描述。12.3 小时应该出自厂商营销材料,引用时需要留意。

一个只有 3100 万参数的基础模型

先说最反直觉的一点。听到「基础模型」,多数人会想到千亿参数的大语言模型。KumoRFM-2 的参数量,NVIDIA 的模型卡写得清楚:3.1×10⁷,3100 万。

它走的是另一条路。模型把数据库原样看作一个图:行是节点,主键和外键是边,时间戳刻画每条记录的时间。架构叫关系图 Transformer(Relational Graph Transformer)——名字里的 PyG 血统是真的:作者列表里有斯坦福的 Jure Leskovec,提交论文的 Matthias Fey 是 Kumo 的联合创始人、PyG 库的核心作者。这个方向的前身叫关系深度学习(Relational Deep Learning),KumoRFM-1 是 2025 年的第一代,当时只能在小规模的内存数据集上跑。

「上下文学习」在这里的形态和 LLM 不太一样。你用预测查询语言(PQL)声明任务之后,模型从同一个数据库里抽历史案例——已经知道答案的老客户、老订单——作为上下文喂进去,模型从这些子图里提取信号,对新样本做预测。论文说通常抽到 1 万条上下文就够用,再多对低延迟没有好处。注意这 1 万条不是写死的硬上限,论文原话是「例如最多 1 万条(e.g., up to 10k)」。

预训练数据也不是真业务库,而是模型卡披露的 3800 万张表、640 万个图,合成加自动生成。学到的能力是「如何在任意关系结构上做预测」这件事本身,而不是某个具体行业的知识。

成绩单,以及它丢掉的条件

论文在四个基准家族上做了评测:RelBenchV1、RelBenchV2、SAP SALT、4DBInfer,合计 15 个关系数据库、41 项时间预测任务——流失、生命周期价值、点击率、转化率这类企业里最常见的预测问题。数字都坐实了。

几个关键读数。在企业级的 SAP SALT 基准上,KumoRFM-2 超过 AutoGluon 集成模型约 8%,超过近期的表格基础模型约 25%。在 RelBenchV1 上,它比自家上一代强约 10%,甚至超过了 RelGNN——一个为任务专门训练的监督模型——约 5%。做完微调还能再涨约 16%。

摘要里的说法是「在常见基准任务上超越监督方法最高 8%」,论文也自认这是「据我们所知,首个在常见基准任务上胜过监督方法的少样本基础模型」。这句话要读得准确一点:胜出幅度是分基准浮动的,SALT 上对 AutoGluon 是 8%,RelBenchV1 上对 RelGNN 是 5%,不是所有基准都是两位数。「零样本击败老牌王者」成立,但那句「最高」不是虚词。

抗噪能力的另一半

论文的鲁棒性实验有三组,都挺狠。

冷启动:全新出现的实体没有任何历史交互,预测照样能做。上下文稀缺:只用 0.2% 的训练数据做上下文(在 amazon 数据集上,其他几个数据集低到 0.3%-0.8%),性能依然站得住。结构残缺:把库里的外键关系随机删掉 75%,预测保持强健。

但第三组有个论文没有回避的结尾:当边删到接近 100%,模型退化成单表设置,表现与近期的表格基础模型对齐。换句话说,它的优势几乎全部来自关系结构本身——外键连成的图就是它的知识来源,把图拆光了,它就只是又一个表格模型。这个「退化边界」反而把方法的价值说得更清楚:多表之间那些没有显式写出来的连接,正是人工特征工程一直在手工补的东西。

规模化是第二代相对第一代最大的工程升级。第一代受限于内存数据集,第二代用 SSD 图形引擎加内存映射 I/O,论文宣称支持 5000 亿行以上(500B+ rows)的数据库——企业级数仓的量级,不再是玩具。

从论文到英伟达货架的十个月

这条商业线走得很快。四月论文发布;六月,多家媒体报道英伟达收购了 Kumo.AI,金额按媒体报道约 4 亿美元(英伟达官方没有确认数字);八月,NIM 推理微服务上架,叫 NVIDIA Kumo Relational;十月十六日,模型权重在 HuggingFace 开源,协议是 OpenMDW 1.1——开放权重、可商用,NVIDIA 自家的模型卡则写商业使用受 NVIDIA 开源模型协议约束,两条线并行。

配套的还有一个刚开源的兄弟项目:NVIDIA Auto Ontology,GitHub 上已经八千多 star。它做的事是从企业元数据自动构建语义层(ontology),把「收入」「活跃用户」这些每个部门理解不一样的词钉成统一定义,供 AI Agent 调用。组合起来看的意图很明显:Kumo Relational 负责在数据库上做预测,Auto Ontology 负责让 Agent 的 SQL 查询别猜错业务含义,NIM 负责部署——英伟达在把「企业结构化数据上的 AI」从模型到部署拼成一整套货架。

一个小模型说明的事

3100 万参数这个数字,值得多想一步。它证明「基础模型」的门槛不在参数量,而在预训练能不能覆盖足够多样的问题结构。语言模型靠海量文本学语言,这个模型靠 3800 万张合成表学「怎么读数据库」。关系结构本身携带了大量企业知识——客户买了什么、订单属于谁、事件发生在何时——模型要学的只是把结构读出来,所以它不需要那么大。

对企业数据团队来说,这件事的影响可能比模型本身更实在。特征工程之所以贵,是因为它在手工重建那些外键连接里本来就藏着的信息。如果一段查询就能从整库上下文里直接出预测,数据科学家的工作会从「造特征、调模型」移向「定义清楚业务问题、校验预测结果」。论文里那个从几天到几秒的部署时间变化,说的不只是速度,是这类工作在组织里的位置正在变。

至于「首个超越监督方法的基础模型」这个头衔,论文自己带着「据我们所知」和「常见基准任务」的双重条件。少样本追上精调模型,在表格数据上 TabPFN 已经演示过一次;这一次发生在多表关系数据上,算是把同一场范式迁移往前推了一格——从一张表,推进到了一整个数据库。

讨论回复

加载中…
正在加载回复...

正在加载讨论…

登录后参与讨论
推荐
智谱 GLM-5 已上线

我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。

领取 2000万 Tokens 通过邀请链接注册即可获得大礼包,期待和你一起在 BigModel 上畅享卓越模型能力
登录