GLM-5： 开源Agentic Engineering的新纪元

GLM-5 技术深度分析报告

目录

模型概述与核心定位
从"Vibe Coding"到"Agentic Engineering"
开源SOTA定位
模型架构创新
混合专家架构
DeepSeek稀疏注意力
多Token预测
训练方法与基础设施
预训练策略
Slime异步RL框架
性能表现与基准测试
学术基准测试
真实场景能力
工程实现与部署优化
Token效率优化
硬件适配
技术演进与架构溯源
研究局限与未来方向

架构创新

总参数
744B

激活参数
40B/44B

专家数量
256个

效率突破

上下文窗口
202K tokens

稀疏度
5.9%

计算压缩
97%

性能表现

SWE-bench Verified
77.8%

Artificial Analysis
#4 全球

开源排名
#1

模型概述与核心定位

从"Vibe Coding"到"Agentic Engineering"的范式转变

GLM-5的发布标志着智谱AI在大模型发展战略上的根本性转向——从传统的"Vibe Coding"（氛围编程）向"Agentic Engineering"（智能体工程）的跃迁[38]
[454]。

Vibe Coding 局限性

• 依赖模型直觉的轻量级开发

• 局部代码片段生成

• 缺乏系统性理解能力

• 无法处理复杂项目端到端

Agentic Engineering 优势

• 自主规划与多步骤执行

• 长期记忆保持

• 持续学习与环境适应

• 完整软件工程生命周期

这一范式转变的技术驱动力源于GLM-5在三个维度的突破：预训练规模的显著扩展（总参数量从355B提升至744B，预训练数据从23T增至28.5T tokens）为模型提供了更丰富的知识储备；DeepSeek稀疏注意力机制（DSA）的引入使得模型在保持长上下文建模能力的同时大幅降低了计算成本；最关键的是Slime异步强化学习框架与新型智能体RL算法的部署，使模型能够从复杂、长周期的交互中持续学习优化[389]
[413]。

开源SOTA定位与市场竞争格局

市场定位突破

GLM-5在全球排名中位列第四，在开源模型中排名第一
[12]
[483]，成为首个在综合智能指数上突破50分的开源模型。

维度
GLM-5
主要竞品
差异化特征

总参数量
744B
DeepSeek-V3.2: 685B; MiniMax-M2.5: 230B
开源最大规模

激活参数
40B/44B
DeepSeek-V3.2: 37B; GPT-4o: ~80B（估计）
稀疏效率优化

上下文窗口
202K
DeepSeek-V3.2: 128K; Claude-3.5: 200K
长Agent任务支持

开源许可
MIT
Llama: 分层许可; Qwen: 有限商用
完全开放

训练算力
华为昇腾
主流: NVIDIA GPU
国产自主可控

开源策略的深远意义

GLM-5采用MIT许可证发布模型权重，允许无限制的商用、修改和再分发[62]。这一决策背后有明确的算力自主化考量：完全基于华为昇腾芯片和MindSpore框架训练，实现了对国产算力栈的完整验证[9]。

基础规格参数

744B

总参数量

激活参数 40B/44B

28.5T

预训练数据

tokens 规模

202K

上下文窗口

最大输出 128K

模型架构创新

GLM-5 架构概览

graph TB
A["输入序列

202K tokens"] --> B["嵌入层

Embedding Layer"]
B --> C["前3层稠密FFN

Dense FeedForward"]
C --> D["MoE层 1-75

256 Experts, 8 Active"]
D --> E["DSA注意力

DeepSeek Sparse Attention"]
E --> F["MTP多Token预测

Multi-Token Prediction"]
F --> G["输出层

Output Layer"]

H["Lightning Indexer"] --> E
I["稀疏选择

Top-2048"] --> E

style A fill:#e1f5fe
style B fill:#f3e5f5
style C fill:#e8f5e8
style D fill:#fff3e0
style E fill:#fce4ec
style F fill:#e0f2f1
style G fill:#f1f8e9
style H fill:#efebe9
style I fill:#efebe9

混合专家架构（MoE）

256个专家网络设计

GLM-5的MoE架构包含256个专家网络，每个输入token仅路由至其中最相关的8个专家进行处理，稀疏度约为5.9%
[6]
[7]。

分层设计策略

• 前3层：稠密FFN，确保基础稳定性

• 后75层：MoE结构，实现专家specialization

• 总计78层隐藏层深度配置

DeepSeek稀疏注意力机制（DSA）

核心设计目标

DSA的核心目标是将自注意力机制的计算复杂度从序列长度的平方级O(L²)降至线性或近线性级别。对于128K tokens的上下文，全注意力需要计算约82亿个注意力对，而DSA通过选择性稀疏化，将有效计算压缩至约2.6亿对，压缩比达97%
[34]。

Lightning Indexer

轻量级评分组件，快速扫描历史token相关性

ReLU激活函数替代Softmax，计算效率提升

固定Top-k=2048稀疏选择策略

两阶段计算流程

阶段一：相关性打分与筛选

O(L·d) 复杂度，快速筛选

阶段二：完整注意力计算

O(L·k) 复杂度，k=2048

多Token预测（MTP）

提升生成效率的辅助机制

MTP的核心思想是在每个解码步骤中并行预测多个未来token，而非传统的单token自回归生成。这一机制可以显著降低生成延迟，尤其在需要长文本输出的场景中。

与DSA的协同优化

• 稀疏注意力降低计算开销

• 更多计算预算分配给MTP

• 延迟降低补偿两阶段计算开销

推测解码策略

• 每次预测1个额外token

• 基于验证的生成机制

• 推理框架深度优化

训练方法与基础设施

预训练策略

数据规模扩展

预训练数据从23T到28.5T的扩展，增幅24%，显著低于参数规模的109%增长。这一"参数增长快于数据增长"的策略，反映了高质量公开文本数据的枯竭挑战[25]
[26]。

数据策展策略

• 更大规模GitHub代码库挖掘

• 代码-文档-提交历史联合建模

• 合成代码数据生成与筛选

• 多语言比例精心调配

Slime异步强化学习框架

核心创新：生成与训练的解耦架构

Slime是GLM-5训练方法中最具原创性的技术贡献，被官方描述为"新型异步强化学习基础设施"[9]
[30]。其命名"Slime"（史莱姆）暗示了系统的灵活性与适应性。

异步架构优势

GPU利用率接近100%，消除同步等待

重要性采样校正，避免分布偏移问题

支持更大模型规模及更复杂RL任务

智能体RL算法

长程任务自动分解机制

跨步骤奖励归因与信用分配

轨迹回放与延迟奖励分配

Slime异步RL架构

graph LR
A["Rollout Worker Pool"] --> B["Experience Buffer"]
C["Training Worker Pool"] --> B
B --> D["Gradient Updates"]
D --> A
D --> C

E["Environment"] --> A
F["Reward Model"] --> B

G["Offline Data"] --> B
H["Human Feedback"] --> B

style A fill:#e1f5fe
style B fill:#f3e5f5
style C fill:#e8f5e8
style D fill:#fff3e0
style E fill:#fce4ec
style F fill:#e0f2f1
style G fill:#f1f8e9
style H fill:#efebe9

性能表现与基准测试

学术基准测试

编程能力

SWE-bench Verified
77.8%

Terminal Bench 2.0
56.2

开源第一，接近Claude Opus 4.5

工具推理

Humanity's Last Exam
50.4%

BrowseComp
领先

工具使用与推理能力

Agent任务

Vending Bench 2
$4,432

MCP-Atlas
领先

长程决策与执行能力

GLM-5 基准测试成绩汇总

基准测试
GLM-5得分
对比基准
排名

SWE-bench Verified
77.8
Claude Opus 4.5 ~79

开源第一

Terminal Bench 2.0
56.2
Claude Opus 4.5 ~58

开源第一

Humanity's Last Exam
50.4%
GLM-4.7 42.8%

开源第一

BrowseComp
领先
Gemini 3 Pro等

开源第一

Vending Bench 2
$4,432
Claude Opus 4.5 ~$4,500

开源第一

数据来源：[1]
[3]
[12]
[26]
[30]

真实场景能力

端到端软件工程

从需求文档自动生成可部署的微服务、配套测试与CI配置[21]。开发完整的横版解谜游戏、Agent交互世界等应用[47]。

CC-Bench-V2评估：较GLM-4.7平均提升超过20%

复杂系统工程

• Mac系统界面模拟实现[10]

• GBA模拟器完整开发[17]

• 3D渲染与游戏逻辑

• 跨组件协调与架构设计

Vending Bench 2 表现

在模拟的一年时间跨度内经营自动售货机业务，涉及库存管理、定价策略、需求预测、财务决策。GLM-5的最终账户余额$4,432，接近Claude Opus 4.5的$4,500[12]
[30]。

工程实现与部署优化

Token效率优化

DSA实际收益量化

理论计算压缩
97%

从O(L²/2)≈8.2×10⁹降至O(L·k)=2.6×10⁸

内存占用优化
显著降低

注意力权重存储需求大幅下降

硬件适配与可扩展性

全国产化战略

GLM-5的硬件适配策略体现了"全国产化"的战略导向。技术报告披露的适配平台涵盖了华为昇腾、摩尔线程、寒武纪、昆仑芯、沐曦、燧原、海光等主要国产AI芯片厂商[1]
[2]。

华为昇腾

Ascend

摩尔线程

Moore Threads

寒武纪

Cambricon

昆仑芯

Kunlun

部署成本优势

通过这些优化，GLM-5在国产芯片集群上实现了"高吞吐、低延迟的稳定运行"，与双GPU国际集群的部署成本相比"减半"
[51]。

开源生态建设

技术透明化

模型权重（MIT许可证）完全开放

训练代码与Slime框架开源

训练日志详细记录

社区驱动的技术透明化

社区参与

Pony Alpha 匿名测试

发布前通过匿名身份在OpenRouter平台测试，获得社区91%以上用户对其身份的准确判断，并登顶热度榜首[6]
[24]。

技术演进与架构溯源

DeepSeek-V3/V3.2架构继承

GLM-5对DeepSeek-V3/V3.2架构的继承，是理解其技术路线选择的关键。代码审查确认，GLM-5的DSA实现直接继承自DeepSeek的代码库[6]
[34]。

策略合理性：降低研发风险、加速产品迭代、复用成熟优化

相对GLM-4.7的架构升级

总参数
355B → 744B (+109%)

激活参数
32B → 40B (+25%)

上下文窗口
扩展至202K

GLM系列技术演进路径

graph TD
A["GLM-4.7

355B参数"] --> B["技术积累"]
B --> C["GLM-5

744B参数"]
A --> D["MoE架构"]
A --> E["代码能力"]
A --> F["长上下文"]

D --> G["256专家MoE

稀疏度5.9%"]
E --> H["Slime异步RL

Agentic Engineering"]
F --> I["DSA注意力

202K上下文"]

J["DeepSeek-V3.2"] --> K["DSA技术迁移"]
K --> I

C --> L["开源SOTA

全球#4"]

style A fill:#e1f5fe
style B fill:#f3e5f5
style C fill:#e8f5e8
style D fill:#fff3e0
style E fill:#fce4ec
style F fill:#e0f2f1
style G fill:#f1f8e9
style H fill:#efebe9
style I fill:#e8eaf6
style J fill:#fff8e1
style K fill:#f3e5f5
style L fill:#e8f5e8

社区驱动的技术透明化

GLM-5的技术信息披露模式具有鲜明的"社区驱动"特征。详细的架构参数、部署配置、性能数据，很大程度上来自社区的分析与挖掘，而非官方的系统性发布[18]
[40]。

优势

• 激发社区技术参与热情

• 加速问题发现与解决

• 促进技术生态建设

挑战

• 信息碎片化与不准确性

• 关键细节披露不完整

• 依赖社区分析能力

研究局限与未来方向

官方技术细节的披露程度

当前对GLM-5的技术理解受限于信息披露的不完整性。关键未公开细节包括DSA中Lightning Indexer的网络结构、Slime框架的异步通信协议、预训练数据的详细构成等。

技术突破方向

超长上下文泛化

固定k=2048的瓶颈突破，层次化索引设计

多智能体协同

角色分工、通信协议、群体智能系统

持续学习适应

灾难性遗忘缓解，终身学习机制

应用场景拓展

企业级软件开发

自动化系统工程

教育辅助系统

科研辅助分析

GLM-5 未来研究方向展望

研究方向
技术挑战
潜在突破

超长上下文（>1M tokens）DSA泛化
固定k=2048的瓶颈、层次化索引设计
自适应稀疏策略、递归注意力

多智能体协同工程
角色分工、通信协议、冲突解决
分布式Agent系统、群体智能

持续学习与终身适应
灾难性遗忘、稳定性-可塑性权衡
模块化架构、元学习、神经可塑性

多模态能力的深度整合
跨模态对齐、统一表征空间
原生多模态架构、端到端训练

GLM-5 里程碑意义

标志着开源大模型在"Agentic Engineering"领域的重要里程碑，为后续研究提供有价值的参考

参考文献

[1] 36氪 - GLM-5技术报告

[2] 爱范儿 - AI芯片产业报道

[3] 知乎专栏 - GLM-5分析

[4] LearnKu - 多模态架构

[5] CSDN - 昇腾AI

[6] BAAI Hub - 架构分析

[7] DataLearner - 模型规格

[9] API指南 - GLM-5教程

[10] 虎嗅 - 系统界面实现

[11] Milvus - 模型对比

[12] BAAI Hub - 性能基准

[17] 飞书文档 - GBA模拟器

[18] ModelScope - GLM-5模型

[21] BAAI Hub - 软件工程

[24] 财新网 - Pony Alpha测试

[25] 华尔街见闻 - 技术报告

[26] 并行科技 - 性能评估

[30] Z.ai - 官方博客

[34] 36氪 - DSA机制分析

[38] GitHub - GLM-5代码

[40] GitHub - 技术文档

[47] 知乎专栏 - 应用案例

[51] Emergent Mind - 部署成本分析

[62] Advenboost - 使用指南

[389] Emergent Mind - 技术论文

[413] NVIDIA - 模型卡片

[454] arXiv - 技术报告

[483] 金股讯 - 市场分析