临床试验里的文字游戏：用 LLM 抓住偷偷换指标的论文

一项临床试验失败了，研究者不想让资助方失望。于是他们在论文里悄悄把"主要终点"从"全因死亡率"换成了"心血管事件发生率"——后者恰好有微弱的改善。这种做法叫 spin（粉饰），在医学文献里比你想的更常见。

手动审计发现，47%-71% 的失败临床试验摘要存在 spin。但人工审计一篇论文要几个小时，全球每年发表的 RCT 论文数以万计——靠人眼根本看不过来。

一篇新论文提出了一个聪明的自动化方案：用大语言模型来判断临床试验论文里"声明的终点"和"报告的终点"是否一致，F1 分数达到 0.78，准确率 0.90。

什么是 outcome switching？

临床试验在设计阶段会预先注册"主要终点"——比如"治疗 12 周后 HbA1c 下降幅度"。这是研究的核心承诺。但论文发表时，有时候报告的终点和注册的不一样：可能把次要终点提上来当主要终点，可能换一个更有利的时间点，可能把"全因死亡率"悄悄换成"心血管死亡率"。

这种做法的危害是显而易见的：读者根据论文做决策——医生决定给病人开什么药、卫生部门决定是否纳入医保、后续研究者决定要不要在这个方向继续投入。如果论文里的终点被偷偷换了，所有基于它的决策都会偏。

任务的核心：语义相似度判断

论文把这个任务形式化为一个语义相似度问题：给定一对终点描述（注册的主要终点 vs 论文报告的终点），判断它们是否语义等价。

这听起来简单，实际上很微妙。论文给了两个例子：

• 相似对：注册终点"log HbA1c"，报告终点"glycaemic control"（血糖控制）。后者是更宽泛的术语，判断它们匹配需要医学领域知识——HbA1c 是血糖控制的衡量指标。
• 不相似对：注册终点"blood pressure"（血压），报告终点"systolic BP"（收缩压）。后者是前者的子集，把"血压"换成"收缩压"可能是在挑有利指标。

这种判断需要两个能力：一是语义理解（知道 HbA1c 和血糖控制有关），二是常识推理（知道把宽泛指标换成窄指标可能是 spin）。传统文本相似度方法（编辑距离、TF-IDF 余弦相似度）做不到，需要 LLM 的语义能力。

方法：三步走的 LLM 检测

研究团队用了一个简洁的三步方案：

第一步：Prompt 工程。给 LLM 一个精心设计的 prompt，让它判断两个终点描述是否相似。prompt 里包含任务说明、判定标准、少量示例。

第二步：Token 概率分类。不只看 LLM 生成的答案，还看它生成"yes"/"no"这两个 token 的概率。这比直接看生成文本更稳定——即使模型生成了一段解释，最终判断仍然基于 yes/no 的概率分布。

第三步：多数投票。对同一对终点跑多次（不同温度、不同 prompt 变体），取多数票。这降低了单次推理的随机性。

这个方法在 2496 对终点的测试集上达到 F1=0.78，准确率 0.90。作为对比，传统文本相似度方法（Levenshtein 距离、词干相似度、Word2Vec 余弦相似度）的 F1 普遍在 0.5-0.6 之间。微调 BERT 的方法略好于 LLM 方案，但需要标注数据。

一个类比：合同审查

这个任务的本质是"合同审查"——论文的注册记录是"合同"，论文本身是"执行"。你要检查执行是否忠于合同。

传统方法像法务实习生逐字比对：找关键词重合度、看句子结构相似度。能抓到明显的不一致（把"血压"改成"心率"），但抓不到微妙的 spin（把"血压"改成"收缩压"）。

LLM 方法像资深律师：理解"血压"和"收缩压"的语义关系，知道后者是前者的子集，能判断这种替换是否构成 spin。但律师也会犯错——F1=0.78 意味着每 5 个判断里大约有 1 个是错的。所以论文把 LLM 定位为"初筛工具"——先自动扫一遍所有论文，标记可疑的，再由人工审计确认。

为什么 LLM 不用微调？

论文一个有意思的发现是：不微调的 LLM 已经接近微调 BERT 的效果。 这对实际部署很重要。

微调需要标注数据，而标注数据需要医学专家——一个标注员审 300 对终点要花好几天。全球每年新发 RCT 论文数以万计，如果要为每个医学子领域都标注数据微调模型，成本不可持续。

零样本 LLM 方案的优势在于：换一个领域（比如从心血管换到肿瘤），只需要改 prompt 里的示例，不需要重新标注数据。这对于快速部署到不同医学场景非常友好。

局限与诚实评价

论文有几个明显的局限。首先，F1=0.78 意味着 22% 的判断是错的——假阳性会冤枉无辜的论文，假阴性会放过真正的 spin。在医学这种高风险场景下，这个准确率只能作为初筛，不能作为最终判断。其次，论文只测了 outcome switching 这一种 spin，其他类型的 spin（比如选择性报告亚组结果、美化失败结果）还没覆盖。第三，300 对标注数据里调参，2496 对上测试——数据量偏小，泛化性存疑。

但这项工作的价值不在于准确率多高，而在于把 LLM 引入了一个之前完全靠人工的领域。47%-71% 的失败 RCT 存在 spin，而全球每年新发 RCT 论文数以万计——任何自动化工具哪怕只是初筛，都能大幅降低人工审计的成本。论文作者也诚实地说：这是本科毕业论文的工作，不是什么颠覆性突破，但它指向了一个务实的方向——LLM 不只是聊天机器人，在专业领域的"语义审计"任务上，它已经开始能干活了。

论文：Detecting Spin in Clinical Trials with Large Language Models
arXiv：2610.11845
作者：Tjaša Ajdovec, Marko Robnik-Šikonja, Simon Šuster
代码：ta5946/Spin