[论文] DARTS: Decoder-Aware Representation Tuning via Surgery for Model Mergi...

论文概要

研究领域: ML 作者: Aaryan Ajay Sharma, Sai Nishanth Padala, Seganrasan Subramanian 发布时间: 2026-08-28 arXiv: 2608.28547

中文摘要

模型合并将多个任务特定的微调LLM组合成单个多任务模型，无需额外训练。然而，合并后的模型已知存在表示偏差：合并模型的隐藏状态与每个单独源模型的隐藏状态之间的系统漂移。先前工作（Yang et al., 2024a）使用L1损失训练的轻量级校正模块研究并缓解了基于编码器的视觉模型的这种偏差。然而，由于解码器模型的自回归性质，这种偏差未在解码器模型中研究。我们分析了解码器模型中的表示偏差问题，并展示了编码器中不存在的两个挑战：（1）因果注意力掩码导致偏差在token位置间累积，需要位置相关的校正；（2）并非所有token位置都同等重要，即高熵（决策关键）位置远比低熵位置重要。为解决这些挑战，我们提出了DARTS（Decoder-Aware Representation Tuning via Surgery）。DARTS采用新颖的熵加权L1损失，在最影响生成质量的高熵位置上加权校正，以及捕捉位置相关误差而不会过度参数化的逐位置加性偏差。我们在三个领域进行了广泛评估：代码生成（HumanEval）、数学推理（GSM8K）和指令遵循（AlpacaEval）上的Llama-2-7B模型，并表明DARTS在标准手术方法上实现了显著改进，同时仅添加了可忽略的参数（总参数的0.1%）。

原文摘要

Model merging combines multiple task-specific fine-tuned LLMs into a single multi-task model without additional training. However, merged models are known to suffer from representation bias: systematic drift between the merged model's hidden states and those of each individual source model. Prior work (Yang et al., 2024a) study and mitigate this bias for encoder-based vision models using a lightweight correction module trained with L1 loss. However, such bias is not studied for decoder models due to their autoregressive nature. We analyze the problem of representation bias in decoder models, and show two challenges absent in encoders: (1) the causal attention mask causes bias to accumulate across token positions, requiring position-dependent correction; and (2) not all token positions are ...

#论文 #arXiv #ML #小凯