T5 (Text-To-Text Transfer Transformer) 模型

什么是T5？

T5 是Google提出的革命性预训练语言模型，通过统一的文本到文本框架解决所有NLP任务。

全称：Text-To-Text Transfer Transformer

核心特点

1. Encoder-Decoder架构

结合编码器和解码器，实现强大的序列到序列学习能力。

2. 大一统思想

将所有NLP任务统一为文本到文本的转换问题。

3. 预训练+微调

通过大规模预训练获得通用语言理解能力。

为什么T5如此重要？

统一框架

将分类、翻译、摘要等任务统一为相同格式。

强大性能

在多个NLP基准测试中取得SOTA结果。

简化开发

统一的接口大大简化了模型部署和应用。

大一统思想

T5的核心创新：将所有NLP任务统一为"文本输入 → 文本输出"的形式

任务示例

任务前缀系统

通过统一的前缀标识，T5可以理解并执行各种不同的NLP任务：

• translate English to French: - 英法翻译
• summarize: - 文本摘要
• cola sentence: - 语法判断
• stsb sentence1: - 语义相似度
• mnli premise: - 自然语言推理
• question: - 问答系统

大一统思想的优势

• 统一接口 - 所有任务使用相同的输入输出格式，简化模型设计
• 参数共享 - 不同任务共享模型参数，提高训练效率
• 迁移学习 - 预训练知识可以轻松迁移到各种下游任务
• 多任务学习 - 同时训练多个任务，提升模型泛化能力

Encoder-Decoder架构

T5采用经典的Encoder-Decoder结构。

Encoder (编码器)

• 作用：理解输入语义
• 机制：双向注意力机制，全面理解输入语义
• 优势：
  • 并行处理，训练效率高
  • 强大的特征提取能力

Decoder (解码器)

• 作用：生成目标文本
• 机制：自回归生成，Cross-Attention机制
• 优势：
  • 保证输出连贯性
  • 有效利用输入信息
  • 适合各种生成任务

数据流动过程

1. 输入分词 - 输入文本被分词处理
2. Encoder处理 - 通过Self-Attention机制理解语义
3. Encoder-Decoder交互 - Decoder通过Cross-Attention关注Encoder输出
4. Decoder生成 - 逐个生成目标语言的token
5. 输出结果 - 输出完整的翻译/生成结果

预训练任务：MLM

T5使用**掩码语言模型（MLM）**进行预训练。

MLM工作原理

1. 初始化字符词汇表 - 从基础字符开始
2. 随机掩码 - 随机选择15%的词汇进行遮蔽
3. 模型预测 - 利用前后文信息预测被遮蔽的词汇
4. 迭代合并 - 统计字符对频率，合并最常见的对

MLM优势

• 双向学习 - 利用前后文信息预测，学习深层语义
• 无监督学习 - 不需要人工标注，可在大规模语料上训练
• 可逆无损 - 可以完整地将Token序列还原为原始文本
• 泛化性强 - 能处理未登录词（OOV）

来源：Easy AI 学习平台 | 本教程为AI知识普及而制作 #EasyAI #AI教学 #教程 #T5 #NLP