《Born》附录C:术语表
本附录提供全书核心术语的标准定义。
---
张量与数据结构
| 术语 | 定义 |
|---|---|
| 张量(Tensor) | 多维数组的泛称,Born 中用 Tensor[T, B] 表示 |
| 形状(Shape) | 张量在各轴上的长度列表 |
| 步幅(Stride) | 沿各轴移动一个元素所需的内存偏移量 |
| 广播(Broadcasting) | 自动将较小形状扩展到匹配较大形状的规则 |
计算后端
| 术语 | 定义 |
|---|---|
| 后端(Backend) | 执行张量运算的具体实现(CPU/WebGPU) |
| 延迟求值 | 不立即执行运算,批量提交以隐藏通信延迟 |
| WGSL | WebGPU Shading Language |
| Workgroup | WebGPU 计算调度的基本单元 |
自动微分
| 术语 | 定义 |
|---|---|
| 自动微分 | 自动计算函数梯度的算法 |
| 梯度磁带 | 记录正向运算序列的数据结构 |
| 反向传播 | 从输出损失沿计算图反向传播梯度 |
神经网络
| 术语 | 定义 |
|---|---|
| 模块(Module) | 神经网络的基本组成单元 |
| 多头注意力(MHA) | 多个注意力头并行计算 |
| 分组查询注意力(GQA) | 多个查询头共享键值头 |
| 残差连接 | 将输入直接加到输出上的短路连接 |
模型与部署
| 术语 | 定义 |
|---|---|
| 检查点(Checkpoint) | 训练过程中保存的模型状态快照 |
| GGUF | Georgi Gerganov Universal Format,LLM 模型格式 |
| KV-Cache | 缓存键值张量以避免重复计算 |
| 量化 | 将参数从高精度转换为低精度 |
📘 《Born》连载技术书,附录 C/4。
💬 讨论回复 (0)
推荐
🌟 智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。
🎁 领取 2000万 Tokens