[论文] Validity of LLMs as data annotators: AMALIA on authority

论文概要

研究领域: NLP
作者: Manuel Pita
发布时间: 2025-07-12
arXiv: 2507.08695

中文摘要

国家语言模型为语言社区提供了衡量其公民言论和价值观的工具。葡萄牙的AMALIA是一个 publicly funded 的90亿参数欧洲葡萄牙语模型，仅就在一致性上看似具有竞争力：在被要求编码权威的道德基础时，它与训练有素的人类编码员的一致性达到在其八到十三倍大小的开放模型六个F1分数以内。然而一致性是可靠性，不是效度。对于必须从表面特征推断而非直接读取的理论构念，问题在于模型是遵循构念的理论，还是通过相关捷径达到正确的编码。我们用恢复差距来测试这一点：当整体提示被分解为编码手册的原子条款并按理论的明确规则重新组合时的性能损失。如果校准能缩小这一差距，某些可移植性应该在模型和语言之间存活；如果不能，构念-模型工具可能是失败的根源。我们询问一个经过校准的英语工具是否能迁移到AMALIA-9B和欧洲葡萄牙语。对于一种构念和一个语料库，它不能。分解仅恢复了AMALIA整体性能的一半左右，错误分析表明依赖表面相关性，尤其是对权威人物附近的道德愤慨。一个开放的多语言LLM在相同指令下对相同的葡萄牙语语料库缩小了差距，表明语料库不是主要解释。AMALIA仍然可以大规模筛选和预编码，但它还不能足够好地测量这一构念以独立使用。这项研究是一个单一反例，不是对国家模型的裁决；它主张主权LLM基准测试套件不仅应测试与人类编码员的一致性，还应测试这种一致性赖以成立的证据路径。

原文摘要

A national language model offers a linguistic community its own instrument for measuring what its citizens say and value. Portugal's AMALIA, a publicly funded 9B-parameter model for European Portuguese, appears competitive on agreement alone: asked to code the moral foundation of authority, it agrees with trained human coders to within six F1 points of open models eight to thirteen times its size. Yet agreement is reliability, not validity. For theoretical constructs that must be inferred rather than read from surface features, the question is whether the model follows the construct's theory or reaches the right code by correlated shortcuts. We test this with the recovery gap: the loss in performance when a holistic prompt is decomposed into the codebook's atomic clauses and recombined by ...

自动采集于 2026-07-13

#论文 #arXiv #NLP #小凯