你有没有过这样的经历:让 ChatGPT 写一份东京旅行攻略,它给你一篇流水账;但如果你把需求拆成"写什么、为什么写、给谁看、什么时候用、在哪里发布、怎么写、写多少、什么风格"八个维度,它突然就写出了你想要的东西。
这个直觉有一个名字:意图传输损失(intent transmission loss)——你说出来的和你真正想要的之间的差距。
彭刚(惠州学院 / 惠州 Lateni AI 科技)在 2026 年 3 月的论文中提出了 PPS(Prompt Protocol Specification),用新闻学的 5W3H 框架来结构化用户意图。4 月的这篇续作把实验从中文扩展到三种语言、四个条件、2160 个模型输出,得出了一个让人意外的结论:让 AI 帮你把一句话扩写成完整 5W3H,效果和专家手写没有统计差异。
5W3H:把记者的直觉变成协议
5W3H 是新闻学的老把戏:What(什么)、Why(为什么)、Who(谁)、When(何时)、Where(何地)、How-to-do(怎么做)、How-much(多少)、How-feel(什么感觉)。PPS 把它搬到了人机交互里:
| 维度 | 含义 | 旅行攻略示例 |
|---|
| What | 核心任务 + 成功标准 | 写 5 天东京自由行攻略,覆盖≥5 个景点 |
| Why | 目标和约束 | 帮助首次访日游客;排除已关闭景点 |
| Who | 人设和受众 | 旅行博主;25-35 岁城市白领 |
| When | 时间和截止 | 春季出行(3-5 月) |
| Where | 发布场景 | 博客平台;日本 |
| How-to-do | 方法和步骤 | 概览→行程→景点→交通→贴士 |
| How-much | 量化要求 | 1200-1500 字;含费用表 |
| How-feel | 语调和风格 | 热情;新手友好 |
关键区别:PPS 不是在教 AI 怎么推理(那是 chain-of-thought 的事),而是在教用户怎么表达意图。两者正交——你可以在 PPS 的 how_to_do 字段里塞 CoT 指令。
四个条件:从裸 prompt 到 AI 扩写
实验设计了四个条件,代表从"裸 prompt"到"完全结构化"的光谱:
条件 A(简单 prompt):一句话描述任务,temperature=0.7。模拟真实用户行为。
> "请写一份 5 天东京旅行攻略,包括主要景点、预算信息和交通贴士。"
条件 B(PPS 原始 JSON):完整的 5W3H 规格以 JSON 格式直接喂给模型,temperature=0。
条件 C(PPS 自然语言渲染):同样的 5W3H 内容,渲染成带标签的自然语言("任务目标(What): ..."),temperature=0。
条件 D(AI 扩写 5W3H):用户只输入条件 A 那句话,AI 辅助工具(用 DeepSeek-V3)自动扩写成完整的 5W3H 规格,格式和条件 C 一样,temperature=0。
关键设计:A、B、C、D 共享同一个任务核心——A 的内容等于 B/C/D 的 What 维度。这控制了任务内容差异。
2160 个输出:三种语言 × 四条件 × 三模型 × 60 任务
实验规模:
- 语言:中文、英文、日文
- 条件:A/B/C/D
- 模型:DeepSeek-V3、Qwen-max、Kimi(月之暗面)
- 任务:60 个(旅行 20 + 商业 20 + 技术 20)
- 总输出:3 × 4 × 3 × 60 = 2160 个
评估指标有三个:
1. 复合得分(1-5):LLM-as-Judge 打五个维度(任务完成度、结构、具体性、约束遵循、整体质量)取平均
2. 目标对齐度(GA,1-5):独立判断输出和用户真实意图的匹配度
3. 跨模型标准差(σ):同一任务同一条件下,三个模型得分的标准差
核心发现一:AI 扩写 ≈ 专家手写
这是全文最重要的结论。在所有三种语言中,条件 C(专家手写 5W3H)和条件 D(AI 扩写 5W3H)在目标对齐度上没有统计显著差异:
| 语言 | C vs D (GA) Δ | p 值 | Cohen's d |
|---|
| 中文 | +0.111 | 0.812 | -0.160 |
| 英文 | +0.006 | 0.633 | +0.007 |
| 日文 | +0.050 | 0.772 | -0.059 |
p 值远大于 0.05,效应量接近零。翻译成人话:
写一句话让 AI 帮你扩写成 5W3H,效果和花十分钟手写八维规格没有可测量的差别。
而且这是保守估计——实验中条件 D 的扩写结果没有经过用户审核修改。实际使用时,用户看一眼扩写结果、改一两个维度,效果可能更好。
这个发现的民主化意义很大:5W3H 不再是 prompt engineer 的专利,任何能写一句话的人都能享受结构化 prompt 的好处。
核心发现二:裸 JSON 是毒药,渲染层必不可少
条件 B(原始 JSON)在所有语言上都垫底,英文尤其惨烈(复合得分 2.322,GA 2.450)。
这证明了一件事:结构化信息本身不够,必须渲染成模型能理解的自然语言。同样的 5W3H 内容,JSON 格式喂进去模型就懵了,渲染成"任务目标(What): ..."模型就懂了。
这个发现对 PPS 的设计有直接影响:渲染层不是可选的装饰,是必需的桥梁。当前 LLM 不能原生解析 PPS-JSON 作为指令意图——也许未来的模型可以,但现在不行。
核心发现三:裸 prompt 的"双重通胀"假象
这是全文最反直觉的发现。条件 A(简单 prompt)在复合得分上最高、在跨模型方差上最低——看起来好像是最好的条件。但这是假象。
通胀一:复合得分虚高。复合得分有一个"约束遵循"维度,奖励模型遵循显式约束。但条件 A 没有指定任何约束——你不能因为模型没遵循一个不存在的约束而扣分。这创造了天花板效应:A 几乎自动获得约束遵循的满分。
通胀二:跨模型方差虚低。中文和日文中,条件 A 的跨模型 σ 最低。但这不是因为三个模型真的对齐了同一意图,而是因为它们各自生成了"各自的高质量默认输出"——三个模型在无约束下都倾向于产出类似的一般性内容,得分都高,方差自然低。
目标对齐度戳穿了这个假象:A 的 GA 跨模型方差(中文 σ_GA=0.655)远高于复合得分方差(σ_composite=0.160)。不同模型从同一个模糊 prompt 推断出的"最可能意图"是不同的——它们只是恰好都写得不错而已。
这个发现对整个 prompt 研究领域有方法论意义:用裸 prompt 作为唯一基线会系统性低估结构化 prompt 的价值。评估应该同时报告复合得分和目标对齐度,同时报告跨模型方差。
跨语言一致性:四种模式在三种语言中全部成立
四种序关系在中文、英文、日文中全部成立:
1. C > B(渲染 > 原始 JSON):渲染层在所有语言中都必要
2. D > B(AI 扩写 > 原始 JSON):AI 扩写在所有语言中都优于裸 JSON
3. C ≈ D(手写 ≈ AI 扩写):AI 扩写在所有语言中都匹配手写
4. B ≪ A(裸 JSON 远差于裸 prompt):裸 JSON 在所有语言中都是灾难
中文(声调、字符)、英文(印欧语系)、日文(黏着语、混合文字)是三种类型学差异极大的语言。四种模式在三种语言中全部成立,强烈支持 PPS 的效果是语言无关的。
英文异常:复合得分和目标对齐度的分裂
英文结果有一个独特现象:条件 C 的 GA 很高(4.228)但复合得分很低(2.899),而条件 A 反过来(复合 4.126,GA 4.489)。这种"复合-GA 分裂"在中文和日文中不明显。
作者的解释是:英文模型对结构化标签头("Task Goal (What): ...")更敏感,可能把它当成表单模板而非实质指令,产出忠实于意图但偏离预期文档格式的输出。旅行任务最明显——英文旅行任务的 A 复合得分只有 3.293 但 GA 高达 4.983。
这个发现的方法论意义:复合得分 alone 会误导。当结构化 prompt 改变了输出的表面格式时,只有目标对齐度能提供跨条件的公平比较。
一个有趣的部署案例
论文提到了一个真实案例:一位没有 AI 背景的化学研究员用 AI 辅助工具(条件 D 路径)从一句话生成了 PPS 5W3H 指令,提交给 MANUS(多步 AI agent),一次生成了 14 页研发提案。在后续对话中,她提交了一个非结构化请求——AI agent 自发地在第二份文档的头部重用了原始 PPS Instruction ID(acf1387681f4),把两次独立生成的输出链接到同一个溯源记录下。
虽然这只是单个案例,但它展示了 PPS 的两个难以在实验中测量的属性:从单句输入到专业级输出的可达性,以及 PPS 元数据作为跨会话任务锚点的潜力。
局限与诚实
论文坦率承认了几个局限:
- 温度混淆:条件 A 用 temperature=0.7,B/C/D 用 temperature=0。A vs C/D 的差异混了结构完整性和采样随机性两个因素。但 C vs D、C vs B、D vs B 的比较不受影响(温度相同)。
- 无外部金标准意图:没有独立于 A/B/C/D 定义的外部"真实意图"作为 ground truth。条件 C/D 在 GA 上的优势可能部分来自给 judge 提供了更丰富的规格内容,而非纯粹更好地传输了共享意图。
- 模型覆盖:三个生成模型都是中国产 LLM(DeepSeek、Qwen、Kimi),对 GPT-4o/Claude/Gemini 的泛化性待测。
- DeepSeek 三重角色:DeepSeek-V3 同时担任条件 D 扩写模型、生成模型之一、和 LLM-as-Judge。这种重叠可能偏袒条件 D。
我的看法
PPS 的核心贡献不是 5W3H 本身——那个框架新闻学用了几十年。它的贡献是把"用户如何表达意图"从一个隐性的 prompt engineering 技能变成了一个显式的、可研究的、可工程化的协议层。
条件 D ≈ 条件 C 这个发现,如果能在 GPT-4o/Claude/Gemini 上复现,意味着 prompt engineering 作为一个专门技能的门槛会大幅降低。不是消失——专家仍然能在条件 C 中微调出更好的结果——但普通用户不再需要上 prompt 课就能获得结构化的好处。
"双重通胀"的发现可能比 PPS 本身更有价值。它指出整个 prompt 研究领域的一个方法论盲区:大量论文用裸 prompt 作为基线,得出的"结构化 prompt 提升 X%"的结论可能低估了真实提升。如果基线本身就是虚高的,所有相对提升都被压缩了。
最后,PPS 的定位很聪明:它不声称自己是"协议"(protocol),只说自己是"结构化意图表示"(structured intent representation)。协议意味着强约束和互操作性,那需要更多的跨模型、跨平台验证。但作为一个"有用的结构化层",2160 个输出的三语言实验已经提供了足够的证据。
---
论文:arXiv:2603.25379
作者:彭刚(惠州学院 / 惠州 Lateni AI 科技)
前作:arXiv:2603.18976(中文单语言版本)