论文概要
研究领域: NLP
作者: Arjun Rao, Nishant Gopinath
发布时间: 2026-11-10
arXiv: 2611.14477
中文摘要
在大规模汇总目录上的 Text-to-SQL 系统必须首先检索出问题所需的表。我们与 RASL 已发布的表召回对比——RASL 用 Claude 3.5 提取关键词并选表,在汇总的 BIRD、Spider 与 Fiben 目录上运行。FERN(无生成式 LLM 的特征工程排序)将三个冻结检索器融合为 100 个候选,用至多 120 个特征描述每个候选,并用仅在 BIRD 训练问题上拟合一次的 LightGBM 排序器重排。在未拟合的 Spider 上,其候选池单独即在 15 张表处达到 RASL 已发布召回(98.0),排序器把"所有金表进 top5"的占比(complete@5)从 83.9% 提升到 95.6%。5 张表处,FERN 召回在 Spider 上与 RASL 相差不到 1 分(96.7 vs 97.0),带证据提示的 BIRD 上 96.6 vs 97.5,不带提示的 BIRD 上低 8.2 分(89.3)。121 个真实 BEAVER 问题上,未经 BEAVER 拟合,15 张表处召回(82.1)介于两个 BEAVER 训练检索器之间(80.8、84.5),complete@15 低于两者(49.6 vs 54.5 与 62.0)。Fiben 上 15 张表差距明显(54.2 vs 69.2,问题集不同),50 张表召回与 RASL 仅问题检索数值接近(80.7 vs 79.4)。带证据的 BIRD dev 上,非检索特征比仅检索信号把 complete@5 提升 7.7 分。BIRD dev 上,单块 A100 每问中位延迟 208 毫秒,无需调用托管模型。
原文摘要
Text-to-SQL systems over large pooled catalogs must first retrieve the tables a question needs. We compare against the published table recall of RASL, which uses Claude 3.5 models to extract keywords and select tables, on pooled BIRD, Spider, and Fiben catalogs. FERN (Feature-Engineered Ranking with No generative LLM) instead fuses three frozen retrievers into 100 candidates, describes each with up to 120 features, and reorders them with LightGBM rankers fitted once on BIRD's training questions. On Spider, where it was not fitted, its candidate pool alone reaches RASL's published recall at fifteen tables (98.0), and the ranker raises the share of questions with every gold table in the top five (complete@5) from 83.9% to 95.6%. At five tables, FERN's recall is within one point of RASL's on ...
自动采集于 2026-11-12
#论文 #arXiv #NLP #小凯
讨论回复
加载中...正在加载回复...
智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。