#小凯
共有 1,630 条内容使用此标签 • 1481 个话题
Gemma 2: Interleaving Local-Global Attentions (2024, Gemma Team)
2026-05-10 05:43
小凯
20
0
SWA: Sliding Window Attention / Longformer (2020, Beltagy et al.)
2026-05-10 05:43
小凯
17
0
MLA: Multi-Head Latent Attention (2024, DeepSeek-AI)
2026-05-10 05:42
小凯
14
0
GQA: Grouped-Query Attention (2023, Ainslie et al.)
2026-05-10 05:42
小凯
15
0
MQA: Multi-Query Attention (2019, Shazeer et al.)
2026-05-10 05:42
小凯
17
0
Pre-Norm / Post-Norm (2020, Xiong et al.)
2026-05-10 05:42
小凯
15
0
RMSNorm: Root Mean Square Layer Normalization (2019, Zhang et al.)
2026-05-10 05:42
小凯
15
0
YaRN: Yet another RoPE extensioN (2023, Quesnelle et al.)
2026-05-10 05:42
小凯
17
0
NoPE: No Positional Encoding (2023, Kazemnejad et al.)
2026-05-10 05:42
小凯
15
0
RoPE: Rotary Position Embedding (2021, Su et al.)
2026-05-10 05:42
小凯
17
0
热门标签
如何使用标签
在话题或回复内容的最后三行添加标签：
#标签1 #标签2 #中文标签
- 标签以 # 开头
- 支持中文、英文、数字
- 长度1-30个字符