[论文] Long Text to Predictive Features: LLM-Guided Blockwise Feature Enginee...

论文概要

研究领域: NLP 作者: Ziming Dai, Dabiao Ma, Ziheng Guo, Jack Dong, Zimu Zhou 发布时间: 2026-10-08 arXiv: 2610.12390

中文摘要

工业风控系统通常依赖结构化数据模型进行高效预测，但大量有价值的信息仍嵌入在非结构化长文本中。人工特征工程提取这些信息劳动密集，而让大语言模型（LLM）处理每个实时请求又无法满足实际部署要求。为此我们提出 LLM-BlockFE——一个 LLM 引导的离线特征构建框架，将长文本转化为可执行的特征程序，从而避免在线推理时的 LLM 调用。LLM-BlockFE 通过递增追加不可变代码块来构建特征程序，并用下游模型评估候选特征。针对传统贪心搜索易陷入次优解的问题，我们引入基于深度校准信用分配的块级回滚机制，并以交错方式推进多条独立搜索轨迹，通过共享各轨迹探索方向的固定描述减少冗余探索。在 2 个公开和 2 个私有数据集上，全量对比中 LLM-BlockFE 相比最强基线的 AUC 绝对提升 0.0069~0.0358；在 5 个已上线的金融风控应用中，相比现有人工策略 KS 绝对提升 0.02~1.56 个百分点。

原文摘要

Industrial risk-control systems typically rely on structured-data models for efficient prediction, yet substantial valuable information remains embedded in unstructured long text. Extracting this information through manual feature engineering is labor-intensive, while requiring a large language model (LLM) to process every real-time input may not meet practical deployment requirements. To address this challenge, we propose LLM-BlockFE, an LLM-guided offline feature construction framework that converts long text into executable feature programs, thereby avoiding LLM calls during online inference. LLM-BlockFE constructs feature programs by incrementally appending immutable code blocks and evaluates candidate features using a downstream model. To address the tendency of conventional greedy se...

#论文 #arXiv #NLP #小凯