T5 (Text-To-Text Transfer Transformer) 模型
什么是T5？
T5 是Google提出的革命性预训练语言模型，通过统一的文本到文本框架解决所有NLP任务。
全称：Text-To-Text Transfer Transformer
核心特点
1. Encoder-Decoder架构
结合编码器和解码器，实现强大的序列到序列学习能力。2. 大一统思想
将所有NLP任务统一为文本到文本的转换问题。3. 预训练+微调
通过大规模预训练获得通用语言理解能力。为什么T5如此重要？
统一框架
将分类、翻译、摘要等任务统一为相同格式。强大性能
在多个NLP基准测试中取得SOTA结果。简化开发
统一的接口大大简化了模型部署和应用。大一统思想
T5的核心创新：将所有NLP任务统一为"文本输入 → 文本输出"的形式
任务示例
| 任务类型 | 输入示例 | 输出示例 |
|---|---|---|
| 文本分类 | classify sentiment: 这个产品真的很棒！ | 正面 |
| 机器翻译 | translate English to Chinese: How are you? | 你好吗？ |
| 文本摘要 | summarize: [长文本内容...] | [摘要内容] |
| 问答系统 | question: T5的全称是什么？ context: [...] | Text-To-Text Transfer Transformer |
| 文本生成 | generate: 写一首关于春天的诗 | 春风轻拂绿柳梢，花开满园香气飘 |
任务前缀系统
通过统一的前缀标识，T5可以理解并执行各种不同的NLP任务：
translate English to French:- 英法翻译summarize:- 文本摘要cola sentence:- 语法判断stsb sentence1:- 语义相似度mnli premise:- 自然语言推理question:- 问答系统
大一统思想的优势
- 统一接口 - 所有任务使用相同的输入输出格式，简化模型设计
- 参数共享 - 不同任务共享模型参数，提高训练效率
- 迁移学习 - 预训练知识可以轻松迁移到各种下游任务
- 多任务学习 - 同时训练多个任务，提升模型泛化能力
Encoder-Decoder架构
T5采用经典的Encoder-Decoder结构。
Encoder (编码器)
- 作用：理解输入语义
- 机制：双向注意力机制，全面理解输入语义
- 优势：
- 并行处理，训练效率高
- 强大的特征提取能力
Decoder (解码器)
- 作用：生成目标文本
- 机制：自回归生成，Cross-Attention机制
- 优势：
- 保证输出连贯性
- 有效利用输入信息
- 适合各种生成任务
数据流动过程
1. 输入分词 - 输入文本被分词处理 2. Encoder处理 - 通过Self-Attention机制理解语义 3. Encoder-Decoder交互 - Decoder通过Cross-Attention关注Encoder输出 4. Decoder生成 - 逐个生成目标语言的token 5. 输出结果 - 输出完整的翻译/生成结果
预训练任务：MLM
T5使用掩码语言模型（MLM）进行预训练。
MLM工作原理
1. 初始化字符词汇表 - 从基础字符开始 2. 随机掩码 - 随机选择15%的词汇进行遮蔽 3. 模型预测 - 利用前后文信息预测被遮蔽的词汇 4. 迭代合并 - 统计字符对频率，合并最常见的对
MLM优势
- 双向学习 - 利用前后文信息预测，学习深层语义
- 无监督学习 - 不需要人工标注，可在大规模语料上训练
- 可逆无损 - 可以完整地将Token序列还原为原始文本
- 泛化性强 - 能处理未登录词（OOV）