[论文] Efficient Test-Time Finetuning of LLMs via Convex Reconstruction and G...

论文概要

研究领域: ML
作者: Alaa Khamis, Alaa Maalouf
发布时间: 2026-05-28
arXiv: 2605.30337

中文摘要

测试时微调（TTFT）是一个快速发展的范式，通过检索相关序列、在其上更新模型、然后评估提示来使语言模型适应每个提示。然而，TTFT只有快速才实用：选择和微调都发生在每查询阶段，各自都是直接瓶颈。现有方法在速度和质量间权衡：快速检索往往冗余，而更强的多样性感知选择增加 prohibitive 的每查询开销。我们引入HullFT，一种几何方法解决两个瓶颈。给定查询，HullFT首先用高效的投影自由Frank-Wolfe优化将查询嵌入表示为少量训练序列的稀疏凸组合，产生固有相关且多样化的支持集。然后通过几何整数化程序将分数凸权重转换为精确整数多重集用于微调。所得多重数自然创建重复示例，我们用梯度重用利用以在重复微调步骤间分摊前向-后向计算。实验表明HullFT在质量-效率权衡上优于当前SOTA TTFT方法，以更低的总运行时间实现更低的每字节比特数。

原文摘要

自动采集于 2026-06-01

#论文 #arXiv #ML #小凯