自然语言处理
> 自然语言处理技术基础NLPvsLLM - index
- 技术特性对比数据
- 发展历程对比
- 应用场景数据
- 传统NLP
- 大型语言模型
- 概述对比
- 技术基础
- 应用场景
- 性能分析
- 可解释性
- 泛化能力
- 资源消耗
- 传统NLP优势
- 词性标注
- 精确的语法分析
- 命名实体识别
- 结构化信息提取
- 机器翻译
- 特定语言对翻译
- 情感分析
- 精准的情感分类
- LLM优势
- 文本生成
- 创意和流畅的内容生成
- 对话系统
- 自然的多轮对话
- 代码生成
- 多语言编程辅助
- 创意写作
- 文学创作和故事生成
- 实体识别
- 代码编写
- 问答系统
- 浅层神经网络
- 词袋模型
- 预处理层
- 去停用词
- 预训练层
- Web文本
- 多模态数据
- 资源消耗低
- 可解释性强
- 特定任务精确
- 泛化能力强
- 生成能力出色
- 理解复杂语境
- 互补关系
- 精确性+灵活性
- 效率+能力
- 专用+通用
Overview - index
- 今天天气怎么样？
- 智能理解
- 让计算机理解人类语言的含义
- 自然交流
- 实现人机之间的自然语言交互
- 高效处理
- 快速处理大量文本数据
- 多任务应用
- 支持翻译、分类、问答等多种任务
- 智能助手
- "今天天气怎么样？"
- 为您查询到今天晴朗，温度20-25°C
- 机器翻译
- 你好，你好吗？
- 情感分析
- 这部电影真的太棒了！
- 积极情感 😊 95%
- 概述组件
- 的基本概念和核心特点
- 主标题区域
- 自然语言处理（
- 特性卡片
- 应用场景动画展示
- 在生活中的应用
- 今天天气怎么样？"
- 为您查询到今天晴朗，温度
- 积极情感
Tasks - ClassificationDemo
- 模拟分析过程
- 根据输入文本匹配示例
- 生成概率分布
- 75-95%
- 0-25%
- 输入要分类的文本...
- NBA季后赛将于下周开始，湖人和勇士将在首轮对决。
- 苹果公司发布了新款MacBook，配备了最新的M3芯片。
- 美国总统宣布将提高关税，引发国际贸易争端。
- 著名演员获得奥斯卡最佳男主角奖，现场观众起立鼓掌。
- 股市今日大涨，科技股领涨，投资者信心增强。
- 分析中...
- 开始分类
- 文本分类演示组件
- 展示文本分类的过程和结果
- 季后赛将于下周开始，湖人和勇士将在首轮对决。
- 苹果公司发布了新款
- 配备了最新的
- 文本分类演示
- 自动识别文本属于哪个类别
- 输入区域
- 输入文本：
- 输入要分类的文本
- 分析结果
- 正在分析文本内容
- 分类结果
- 概率分布
- 示例选择
- 试试这些例子：
Tasks - NERDemo
- 模拟处理过程
- 查找匹配的示例
- 逐个显示实体
- 生成带标注的文本
- 输入要进行实体识别的文本...
- 李雷和韩梅梅是北京市海淀区的居民，他们计划在2024年4月7日去上海旅行。
- 北京市海淀区
- 2024年4月7日
- 比尔·盖茨是微软公司的创始人，总部位于美国西雅图。
- 比尔·盖茨
- 微软公司
- 识别中...
- 开始识别
- 命名实体识别演示组件
- 展示实体识别的过程和结果
- 李雷和韩梅梅是北京市海淀区的居民，他们计划在
- 日去上海旅行。
- 盖茨是微软公司的创始人，总部位于美国西雅图。
- 命名实体识别演示
- 自动识别文本中的人名、地名、组织等实体
- 输入区域
- 输入文本：
- 输入要进行实体识别的文本
- 处理结果
- 标注文本
- 标注结果：
- 正在识别实体
- 实体列表
- 识别的实体：
- 识别完成！共找到
- 实体类型说明
- 支持的实体类型：
- 示例选择
- 试试这些例子：
Tasks - SegmentationDemo
- 输入要分词的中文文本...
- 雍和宫的荷花开的很好。
- 今天天气真好，适合出去游玩。
- 人工智能在医疗领域有广泛应用。
- 人工智能
- 分词中...
- 开始分词
- 中文分词演示组件
- 展示中文分词的过程和结果
- 中文分词演示
- 将连续的中文文本切分成有意义的词汇
- 输入区域
- 输入文本：
- 输入要分词的中文文本
- 分词结果展示
- 分词结果：
- 分词完成！共识别出
- 个词汇单元
- 示例选择
- 试试这些例子：
Tasks - TranslationDemo
- 模拟翻译过程
- 查找翻译结果
- 逐字显示翻译结果
- 输入要翻译的文本...
- 今天天气很好。
- 今日の天気はとても良いです。
- 你好，你好吗？
- こんにちは、元気ですか？
- 我喜欢学习自然语言处理。
- 私は自然言語処理の勉強が好きです。
- 人工智能正在改变世界。
- 科技让生活更美好。
- 翻译结果将显示在这里
- 翻译中...
- 开始翻译
- 机器翻译演示组件
- 展示机器翻译的过程和结果
- 自然言語処理
- 机器翻译演示
- 将一种语言自动翻译成另一种语言
- 语言选择器
- 翻译区域
- 输入要翻译的文本
- 目标文本
- 翻译按钮
- 翻译质量评估
- 示例选择
- 试试这些例子：
Tasks - index
- 中文分词
- 文本分类
- 实体识别
- 机器翻译
- 任务展示组件
- 包含各种
- 任务的交互式演示
- 核心任务
- 体验不同的自然语言处理任务
- 任务选择器
- 任务演示区域
TextRepresentation - index
- 演示数据
- VSM 表示数据
- Word2Vec 相似性数据
- 性能对比数据
- 雍和宫的荷花很美
- 其他词汇
- 向量空间模型 (VSM)
- 1970年代
- 基于词频的稀疏向量表示
- 高维稀疏
- 词袋模型
- 忽略词序
- TF-IDF权重
- N-gram 模型
- 1980-1990年代
- 基于统计的语言建模
- 马尔可夫假设
- 条件概率
- 局部上下文
- 数据稀疏问题
- 2013年
- 密集词向量表示的突破
- 密集表示
- 语义相似性
- 词汇类比
- 2018年
- 上下文相关的动态词向量
- 上下文敏感
- 双向LSTM
- 预训练+微调
- 一词多义
- 语义理解
- Word2Vec
- ELMo
- 文本表示发展历程组件
- 展示从传统方法到现代深度学习的文本表示技术
- 向量空间模型
- 雍和宫的荷花很美"
- 雍和宫"
- 其他词汇"
- 表示数据
- 相似性数据
- 稀疏向量演示
- 维词汇表中仅
- 个位置为
- 找到语义相似的词汇
- 维向量，每维都有意义
- 词汇类比示例
- 选择一个方法查看详细演示
- 文本表示技术演进
Timeline - index
- 机器能思考吗？
- 图灵测试提出
- 理论基础
- 艾伦·图灵提出判断机器智能的标准
- 奠定了人工智能的哲学基础
- 提出了"机器能思考吗？"的根本问题
- 设计了通过对话来判断机器智能的测试方法
- 影响了后续几十年的AI研究方向
- 为现代自然语言处理设定了终极目标
- 生成语法理论
- 语言学基础
- 乔姆斯基提出生成语法，影响机器翻译发展
- 为计算语言学提供了理论框架
- 提出了语言的递归性质和有限规则生成无限语句
- 区分了表层结构和深层结构
- 为机器翻译提供了语法分析的理论基础
- 影响了后续的句法分析和解析技术
- ELIZA聊天机器人
- 早期应用
- 第一个能进行简单对话的计算机程序
- 展示了简单模式匹配的对话能力
- 使用简单的模式匹配和替换规则
- 模拟心理治疗师进行对话
- 让人们首次体验到与机器对话的可能性
- 暴露了早期NLP技术的局限性
- 统计方法兴起
- 方法革命
- 从规则驱动转向统计和概率方法
- 开启了数据驱动的NLP时代
- 计算能力提升使大规模数据处理成为可能
- Hidden Markov Model在语音识别中的成功应用
- 统计机器翻译模型的发展
- 为后续机器学习方法奠定基础
- 互联网与语料库
- 数据革命
- 大规模文本数据的出现改变了NLP研究
- 提供了前所未有的训练数据
- 万维网提供了海量的多语言文本数据
- 标准化语料库如Penn Treebank的建立
- 数据驱动方法开始显示优势
- 评估标准和基准测试集的确立
- 条件随机场(CRF)
- 算法突破
- CRF在序列标注任务中取得突破性进展
- 显著提升了序列标注任务的性能
- 解决了序列标注中的标签偏置问题
- 在词性标注、命名实体识别中取得优异表现
- 成为监督学习在NLP中的重要里程碑
- 为后续深度学习序列模型提供了对比基础
- Word2Vec革命
index
- NLP知识卡片内容 - 基于用户提供的专业内容
- 自然语言处理 (NLP) 知识卡片
- 核心概念速查手册
- 一、NLP定义
- 融合了计算机科学、语言学、心理学等多学科知识。
- 核心目标是打破语言与机器的障碍，处理语义、语境等深层信息。
- 二、发展历程
符号主义与统计方法（1970s-1990s）：分为符号主义（规则驱动）和统计方法（概率模型）两大阵营。1980s后，统计模型取代手写规则，推动NLP从规则走向数据驱动。
机器学习与深度学习（2000s至今）：2013年Word2Vec提出词向量，开启分布式表示时代。2018年BERT引领预训练语言模型浪潮，后续GPT系列、Transformer架构推动NLP接近人类水平。
- 三、核心任务
- 中文分词（CWS）：将连续中文文本切分为有意义的词汇序列（如\
- 今天|天气|真|好\
- 雍和宫\
- 雍|和|宫\
- 子词切分（Subword Segmentation）：将词汇分解为更小单位（如\
- ），处理罕见词和合成词。方法：BPE、WordPiece等。
- 词性标注（POS Tagging）：为单词分配词性标签（如\
- She（代词）|is（动词）|playing（动词分词）\
- 文本分类：将文本分配到预定义类别（如新闻分类为\
- 实体识别（NER）：提取文本中的命名实体（如\
- 2024年\
- 关系抽取：识别实体间语义关系（如\
- 文本摘要：抽取式（选关键句）和生成式（重构语义）。
- 机器翻译：跨语言语义转换，如\
- 自动问答（QA）：检索式、知识库式、社区式，需理解问题并推理答案。
- 四、文本表示技术
- N-gram模型：基于马尔可夫假设，用前N-1个词预测当前词概率（如bigram计算P(\
- ）。缺点：N较大时数据稀疏，无法捕捉长距离依赖。
- 向量接近）。
- ELMo（2018）：双向LSTM预训练，动态生成上下文相关词向量，解决一词多义问题。
- 五、应用场景
- 日常工具：语音助手（Siri）、智能输入法、机器翻译（Google翻译）。
- 信息处理：垃圾邮件过滤、舆情分析、新闻分类。
- 智能系统：问答机器人、知识图谱构建、推荐系统。
- 六、挑战与未来
- 挑战：歧义性（如\
- 指水果或公司）、隐喻理解、跨语言文化差异。
- 核心价值：NLP通过技术迭代，正从\
- ，推动AI与人类语言交互的革新。
- 表层处理
- 深层语义理解
- NLP 概述
- 发展历程
- NLP 任务
- 文本表示
#EasyAI #AI教学 #教程