论文概要
研究领域: NLP 作者: Hitesh Mehta, Arjit Saxena, Garima Chhikara, Rohit Kumar 发布时间: 2026-04-17 arXiv: 2604.16275
中文摘要
本文探讨了大语言模型（LLMs）对不同礼貌程度和不礼貌程度用户提示的响应。Brown和Levinson的礼貌理论以及Culpeper的不礼貌框架构成了实验基础，实验跨越三种语言（英语、印地语、西班牙语）、五个模型（Gemini-Pro、GPT-4o Mini、Claude 3.7 Sonnet、DeepSeek-Chat和Llama 3）以及用户之间的三种交互历史（原始、礼貌和不礼貌）。我们的样本包含22,500对提示和响应，使用八因素评估框架评估五个礼貌水平：连贯性、清晰度、深度、响应性、上下文保留、毒性、简洁性和可读性。研究结果显示，模型性能受语气、对话历史和语言的高度影响。虽然礼貌提示将平均响应质量提升高达约11%，不礼貌语气则使其恶化，但这些效果在不同语言和模型之间既不一致也不普遍。英语最适合礼貌或直接语气，印地语适合恭敬和间接语气，西班牙语适合自信语气。在各模型中，Llama对语气最敏感（11.5%范围），而GPT对对抗性语气更鲁棒。这些结果表明礼貌是一个可量化的计算变量，影响LLM行为，尽管其影响是语言和模型依赖的而非普遍的。为支持可复现性和未来工作，我们额外发布了PLUM（多语言话语中的礼貌水平），一个公开可用的语料库，包含1,500个人工验证的提示，跨越三种语言和五个礼貌类别，并提供了从礼貌理论衍生的六个可证伪假设的补充分析，针对数据集进行实证评估。
原文摘要
This paper explores the response of Large Language Models (LLMs) to user prompts with different degrees of politeness and impoliteness. The Politeness Theory by Brown and Levinson and the Impoliteness Framework by Culpeper form the basis of experiments conducted across three languages (English, Hindi, Spanish), five models (Gemini-Pro, GPT-4o Mini, Claude 3.7 Sonnet, DeepSeek-Chat, and Llama 3), and three interaction histories between users (raw, polite, and impolite). Our sample consists of 22,500 pairs of prompts and responses of various types, evaluated across five levels of politeness using an eight-factor assessment framework: coherence, clarity, depth, responsiveness, context retention, toxicity, conciseness, and readability. The findings show that model performance is highly influen...
--- *自动采集于 2026-04-21*
#论文 #arXiv #NLP #小凯