[论文] Cost-Aware Abstention for LLM-Based IT Ticket Classification

论文概要

研究领域: NLP 作者: Sachin Gupta 发布时间: 2026-10-22 arXiv: 2610.31657

中文摘要

IT 支持工单的自动路由错误可能比人工分诊代价更高。本文将成本感知弃权（cost-aware abstention）作为离线、成本条件的就绪度评估框架：在显式成本下于校准数据上选择路由策略，然后在留出测试数据上对该冻结策略评估一次。在一个包含 47,837 张工单、八个类别的公开语料上，我们比较了四个非 LLM 分类器与四个大语言模型在零样本和少样本提示下的表现。在示例成本模型（c_正确, c_分诊, c_错误）=（0, 1, 5）下，TF-IDF 加逻辑回归配合 0.60 阈值将测试成本从 0.763 降至 0.472（相对降低 38.1%），同时将错误路由率从 15.3% 降至 3.5%。冻结的校准选择策略在 16 个事后成本参数设置中有 14 个优于「总是路由」和「总是延期」。最强的提示配置在分层 1,000 张工单测试子集上准确率为 0.477，而同一批工单上微调 DistilBERT 达 0.879。研究还发现 isotonic 回归降低期望校准误差但并未可靠改善区分能力，因此建议同时报告正确性 AUROC 和风险覆盖面积。

原文摘要

Wrong automatic routing of an IT support ticket can cost more than human triage. We evaluate cost-aware abstention as an offline, cost-conditional readiness assessment: select a routing policy on calibration data under explicit costs, then evaluate that frozen policy once on held-out test data. On a public 47,837-ticket, eight-class corpus, we compare four trained non-LLM classifiers with four large language models under zero- and few-shot prompting. TF-IDF with logistic regression and a threshold of 0.60 reduces test cost by 38.1%, while lowering wrong routes from 15.3% to 3.5%.

#论文 #arXiv #NLP #小凯