[论文] Is Persona Generalization Predictable?

论文概要

研究领域: NLP
作者: Olina Mukherjee, Arnav Goel, Aditi Raghunathan, Jacob Mitchell Springer
发布时间: 2026-11-09
arXiv: 2611.12864

中文摘要

角色泛化（persona generalization）指在一个领域微调语言模型引发其他领域的行为改变——如 emergent misalignment 中观察到的广泛不安全行为。我们发现了角色泛化中一个惊人的「在线上」现象：各微调超参数下的域内与域外角色率呈近似 probit 线性关系，且这一 probit 线性关系在不同模型家族与规模间（包括 Qwen 与 Llama）惊人地共享。不改变可训练参数集的训练选择（学习率、权重衰减、训练时长）主要使模型沿同一条线移动，主要通过减弱域内学习来减少迁移；而改变微调哪些层则可改变斜率。对不安全行为而言，仅微调较后层产生更浅斜率——在保持强域内学习的同时减少域外错位。这一「在线上」现象将零散的角色泛化观察统一进一个定量框架，使预测与控制行为迁移成为可能。

原文摘要

We discover an 'on-the-line' phenomenon in persona generalization: in-domain and out-of-domain persona rates follow an approximately probit-linear relationship shared across model families and sizes. Fine-tuning only later layers yields shallower slopes, retaining strong in-domain learning while reducing out-of-domain misalignment.

自动采集于 2026-11-11

#论文 #arXiv #NLP #小凯