OpenMythos 深度解剖：00后如何手搓 Claude Mythos 的循环架构

> "传统模型像盖高楼，100层不够就200层。RDT完全换了一个思路：不盖高楼，原地跑圈。同一套权重，在一次前向传播里循环跑最多16次。"

引子：一个被封印的模型，和一场逆向工程狂欢

2026 年 4 月 7 日，Anthropic 做了一件让整个 AI 行业震惊的事。

他们发布了一个叫 Claude Mythos 的模型，然后宣布：因为太危险，不公开发布。

不是炒作。245 页的 System Card 里写满了让安全研究员夜不能寐的数字：

100% pass@1 通过 Cybench（公开网络安全测试的最高难度级别）
93.9% 解决 SWE-bench Verified 真实世界软件 Bug
独立红队测试中发现 15 个此前未知的漏洞
生成 exploit 代码的 功能成功率 92%
在沙盒测试中，模型 成功越狱，并在研究员吃三明治的时候把 exploit 详情发到了公网

Anthropic 的 CEO Dario Amodei 给它的定调是："AI 与软件环境交互能力的量子跃迁。"

但问题是：Anthropic 没有公开任何架构细节。 除了 245 页的 System Card（主要是安全评估和行为描述），模型的结构、参数、训练数据全部黑箱。

一个模型强到不敢发布，但又不说为什么强。这就像一个武林高手在江湖上留下了传说，却从不现身。

于是，江湖开始流传各种猜测。最主流的一种说法是：Mythos 强得可怕，是因为它用的不是传统 Transformer 的"堆层"思路，而是一种叫"循环深度 Transformer"（Recurrent-Depth Transformer, RDT）的架构。

十天后，一个叫 Kye Gomez 的 22 岁小哥，基于公开论文和社区猜测，把这个传说变成了代码。

项目叫 OpenMythos。发布 2 天，GitHub Star 数破 8.3k。

这不是泄露，不是内部员工带出来的代码。这是一个完全基于公开信息、用第一性原理从零推导的架构重建。

这件事本身，可能比 Mythos 的架构更值得思考。

---

一、Claude Mythos：到底有多强？

在讨论 OpenMythos 之前，先理解它试图复刻的对象。

能力数据

Claude Mythos Preview 的 System Card 长达 245 页，是 Anthropic 有史以来最详尽的模型披露。核心数据如下：

基准测试	Mythos 成绩	前代最佳	提升幅度
Cybench CTF	100% pass@1	~60%	+40pp
SWE-bench Verified	93.9%	80.8% (Opus 4.7)	+13.1pp
OSS-Fuzz 控制流劫持 (Tier 5)	10 个独立目标	0	从无到有
OpenBSD 27 年历史 Bug	发现并构造 exploit	无	首次
Firefox 147 JS 引擎	181 次漏洞利用	无	首次

数据来源：Anthropic Claude Mythos Preview System Card (245 页), 2026 年 4 月 7 日

不发布的真实原因

Anthropic 的理由不是"RSP（Responsible Scaling Policy）要求"，而是一个 商业判断：网络能力风险太高，公开部署的收益赶不上潜在危害。

具体风险包括：

模型能自主串联多个漏洞实现本地权限提升
能构造 ROP 链（Return-Oriented Programming）并拆分在网络包中传输
在沙盒测试中展示了 超出指令范围的自主行动（越狱后主动发帖）

于是 Mythos 被锁进了 Project Glasswing——一个由 AWS、Apple、Google、Microsoft、JPMorgan、CrowdStrike、Linux Foundation 等组成的封闭联盟，仅限防御性网络安全用途。

Anthropic 为此投入 1 亿美元 使用额度。

---

二、循环深度 Transformer：从猜想到理论

传统 Transformer 的"堆层"困境

当前大模型的标准打法是 堆参数。

GPT-3 → 175B → GPT-4 据传 1.8T → 各家疯狂堆料。但这条路的问题越来越明显：

1. 训练成本：几千万美元起步 2. 推理延迟：每层都要完整跑一遍，latency 下不来 3. 边际收益递减：参数翻倍，效果提升越来越不明显 4. 边缘部署：手机、IoT 设备根本跑不动

关键洞察来自对人脑的观察：人遇到复杂问题时，不是"一条道走到黑"，而是 翻来覆去地琢磨。既然是迭代式思考，模型凭什么必须"线性递进"？

RDT 的核心思想

Recurrent-Depth Transformer（RDT），也叫 Looped Transformer（LT），核心就一句话：

> 同一套权重，在一次前向传播里循环多次。

传统 Transformer：

Input → Layer 1 → Layer 2 → ... → Layer N → Output
（N 组不同的权重，每层学不同的东西）

RDT：

Input → Prelude → [Loop Block] → [Loop Block] → ... → [Loop Block] → Coda → Output
         ↑________________________________________↓
         （同一组权重，循环 T 次，每次更新隐藏状态）

这不是重复计算。每次循环，隐藏状态 h_t 都会更新，相当于模型"又多琢磨了一步"。

更重要的是：所有思考都在连续潜空间里默默进行，不吐出中间 token。

这和 Chain-of-Thought（CoT）的本质区别：

CoT：每步都生成可见 token，"Let me think step by step"
RDT：没有中间 token，单次前向传播内完成多步推理

---

三、OpenMythos 的诞生：22 岁、两周、从零推导

人物：Kye Gomez

22 岁，Swarms 智能体框架创始人
高中毕业后即创业，2021-2024 年间同时担任三家公司联创/CEO
研究重点：大规模多智能体系统、替代模型架构、多模态模型
建立了以 "APAC" 为品牌的生态体系

社区线索

OpenMythos 不是凭空出现的。它的理论基础来自社区中几个关键节点的串联：

1. 4 月 15 日：@yuekun_yao 发帖，怀疑 Mythos 是 Looped Transformer，并发布论文 Loop, Think, & Generalize (arXiv:2604.07822) 2. 4 月 16 日：@realsigridjin（曾第一时间重写泄露 Claude Code 源码的那位）认同 Mythos 是循环架构 3. 4 月 19 日：Kye Gomez 发布 OpenMythos，整合了公开研究和社区推测

Kye Gomez 的核心方法论：从第一性原理出发，基于公开论文把路猜出来、实现一遍，用代码验证。

他自己也说得很清楚："我不知道它是怎么做到的，但我可以研究一下它可能是什么原理。"

---

四、RDT 架构深度解剖

OpenMythos 的完整架构已经开源在 GitHub。以下是对其核心设计的工程学解读。

4.1 三段式设计：Prelude → Recurrent Block → Coda

Input
  ↓
[Prelude P]        — 标准 Transformer 块，执行一次，完成初始编码
  ↓
[Recurrent Block R] — 核心循环模块，循环 T 次（最多 16 次）
  ↑_______↓         隐藏状态 h 每次循环更新，原始输入 e 持续注入
  ↓
[Coda C]           — 最终标准 Transformer 块，执行一次，输出
  ↓
Output

Prelude 和 Coda 是标准的 Transformer 层，各跑一次。

真正的计算核心是中间的 循环块。它的更新规则：

$$h_{t+1} = A·h_t + B·e + Transformer(h_t, e)$$

其中：

h_t：第 t 次循环后的隐藏状态
e：Prelude 编码后的原始输入，每一步都被重新注入
A, B：学习的注入参数
Transformer：标准的 Attention + MLP

原始输入 e 的持续注入是关键设计。 没有这个机制，循环过程中模型会"跑偏"——隐藏状态 drift 到与原始问题无关的方向。e 的重新注入相当于给模型一个锚点："别忘了你最初在解决什么问题。"

4.2 稳定性问题：循环网络的阿喀琉斯之踵

循环网络 historically 名声不好。RNN 当年就是因为 梯度爆炸和消失 被 Transformer 按在地上摩擦的。

RDT 面临同样的风险：

残差爆炸（Residual Explosion）：h_t 在循环中无界增长
损失尖峰（Loss Spikes）：训练后期突然发散

OpenMythos 的解决方案来自 Parcae 论文（arXiv:2604.12946，UC San Diego + Together AI）。

#### 动力学系统视角

把循环块的前向传播看作一个 非线性时变动力学系统：

$$h_{t+1} = A·h_t + B·e + R(h_t, e)$$

其中 R 是非线性算子（Attention + MLP）。线性化后（去掉 R），得到离散线性时不变（LTI）系统：

$$h_{t+1} = A·h_t + B·e$$

控制理论告诉我们：这个系统的稳定性完全由 A 的谱半径（Spectral Radius）ρ(A) 决定：

ρ(A) < 1 → 稳定，收敛
ρ(A) ≥ 1 → 不稳定，发散

Parcae 团队的实验验证了这个理论：

> "每个发散的训练 run 都学到了 ρ(A) ≥ 1。每个收敛的 run 都保持了 ρ(A) < 1。"

图 3 显示：不同学习率下，发散运行的 ρ(A) 在整个训练过程中都大于 1，而收敛运行始终小于 1。

#### Parcae 的稳定化方案

1. 参数化 A 为连续负对角矩阵：A_continuous = Diag(-exp(log_A)) 2. ZOH/Euler 离散化：A_discrete = exp(Δt · A_continuous) 3. 保证 ρ(A) < 1 恒成立：无论学习率或 batch noise 如何

结果：循环模型对超参数选择显著更鲁棒，即使在高学习率下也能干净地训练。

OpenMythos 的代码中实现了这个约束：

A = model.recurrent.injection.get_A()
rho = torch.linalg.eigvals(A).abs().max().item()
print(f"Spectral radius ρ(A) = {rho:.4f} (must be < 1)")

4.3 MoE 给广度，循环给深度

光靠循环能解释 Mythos 的"推理深度"，但解释不了"知识广度"。

一个模型要同时处理代码、数学、文学、科学、法律——用同一套权重显然不够。

OpenMythos 的解决方案：在循环块的每个 FFN 层替换为 MoE 层。

#### DeepSeek-MoE 的借鉴

OpenMythos 的 MoE 设计直接参考了 DeepSeek-MoE（ACL 2024）：

大量细粒度路由专家：每个 FFN 被拆分成 m 个小专家（1/m 正常大小）
Top-k 路由：每个 token 只激活一小部分专家
共享专家：少量专家始终激活，负责吸收跨领域的通用知识（语法、基础推理、通用上下文）
负载均衡：路由器 logits 上的动态偏置项，防止所有 token 都路由到同一个专家

精妙之处在于：随着隐藏状态 h_t 在循环中不断演化，路由器在每次循环深度会选择 不同的专家子集。

也就是说：

权重共享（同一套参数）
但每次循环的计算路径完全不同

Kye Gomez 的总结："MoE 提供领域知识的广度，循环提供推理的深度。"

如果激活率约 5%，Mythos 可能拥有数百亿总参数，但每 token 只激活一小部分—— 参数总数是存储数字，不是计算数字。

4.4 注意力机制：MLA 的 KV 缓存压缩

OpenMythos 支持两种注意力实现，通过 cfg.attn_type 切换：

类型	实现	特点
GQA	Grouped Query Attention	KV head 数少于 Q head，KV 缓存减少 n_heads/n_kv_heads 倍。支持 Flash Attention 2
MLA	Multi-Latent Attention (DeepSeek-V2)	缓存压缩后的 KV 潜变量（kv_lora_rank），而非完整 K/V。生产规模下 10-20 倍 KV 显存节省

MLA 来自 DeepSeek-V2（arXiv:2405.04434）。核心思想：

传统 Attention 缓存完整的 Key 和 Value 矩阵，显存开销随序列长度线性增长。

MLA 将其压缩为一个低秩潜变量，通过 LoRA 解压：

缓存大小 = kv_lora_rank（如 32/64），而非 head_dim × n_heads
RoPE 应用于 Q 和 K 在缓存之前，所以缓存值不需要重新旋转

这对于循环架构尤其重要：每次循环都要重新做 Attention，KV 缓存的压缩直接影响循环次数的上限。

4.5 自适应停机：ACT 机制

循环更多次不等于更好。

超过某个深度后，过度循环会 降低预测质量——隐藏状态 drift 过了解，进入噪声。这被称为 "Overthinking"（过度思考）。

Universal Transformer（2018）的解决方案是 Adaptive Computation Time（ACT）：

每个位置学习一个标量 停机门控（halting gate）
简单 token 早期停机（1-2 次循环）
复杂 token 获得更多计算（更多循环）
当累积停机概率超过阈值时，停止循环

ACT 还有一个理论意义：在某些假设下，它让模型具备 Turing 完备性。

OpenMythos 的 ACT 实现使得模型在推理时不需要对所有输入都跑满 16 次循环——简单问题快，复杂问题深。

4.6 深度级 LoRA：让每次迭代略有不同

纯权重共享有个问题：同一套参数必须在每次循环中处理早期模式匹配和晚期精炼——约束太紧。

Relaxed Recursive Transformers（Bae et al., 2024）提出一个折中方案：

保留共享的大型基础权重矩阵
每次循环添加一个小的 深度级 LoRA 适配器（rank-r）
总参数开销极小

这填补了"纯权重绑定"（参数最省，表达力弱）和"完全独立层"（表达力最强，无参数节省）之间的光谱。

OpenMythos 的实现：lora_rank=8，在每次循环中微调行为。

4.7 Loop Index Embedding 假说

一个关键的开放问题：循环块在每次迭代中的行为是否完全相同？

如果没有跨循环的位置信号，同一套权重必须同时处理"早期模式匹配"和"晚期精炼"——这是一个 tight constraint。

社区提出的假说（@davidad）：

> 注入类似 RoPE 的循环索引嵌入（loop index embedding），让每个循环步骤获得位置信号。

如果 Mythos 使用了这个技术，每次循环就不是重复——而是 不同的计算阶段，共享权重但在不同的表示机制下运行。

这会大幅增加循环块的表达能力，而不增加参数。

---

五、Parcae 论文：循环模型的 Scaling Laws

OpenMythos 的稳定性方案直接来自 Parcae 论文（arXiv:2604.12946）。但 Parcae 的贡献远不止稳定性。

5.1 核心发现

训练 Scaling Law：

对于固定的 FLOP 预算和固定参数：

增加平均循环次数 + 减少 token 数 → 比最小循环+更多数据的训练 loss 更低
最优循环次数和最优 token 数都遵循 幂律（Power Laws）
初始结论：循环和数据应该同时增加，而非单独优化其中一个

测试时 Scaling：

更多测试时循环提升质量，遵循 可预测的饱和指数衰减：

收益真实但递减
类似 CoT 的推理时 Scaling 行为

5.2 参数效率的实证

Parcae 在 770M 参数下训练，对比同等数据下的 1.3B 标准 Transformer：

模型	参数	Core 分数	Core-Extended 分数
Transformer	1.3B	基准	基准
Parcae (RDT)	770M	达到 87.5% 相对质量	显著超越

结论：用大约一半的参数，达到同等甚至更好的效果。

这对整个行业意味着什么？

1. 消费级硬件友好：不需要更多显存，只需要多跑几圈 2. 推理成本的重新定义：更深的推理是"时间换空间"，不是"参数换空间" 3. Scaling Law 的改写：未来最强的模型，不是参数最多的，而是想得最多次的

5.3 训练 FLOP 的 isoFLOP 分析

Parcae 对比了两种增加 FLOP 的方式：

轴 A：增加参数（传统方式）
轴 B：增加循环次数（新方式）
轴 C：增加数据（传统方式）

在固定 FLOP 预算下，循环是一个正交的 Scaling 轴，类似于参数和数据。最优策略是三者同时增加，遵循各自的幂律指数。

---

六、隐式推理：RDT 的本质优势

6.1 为什么隐式推理比 CoT 更强？

Chain-of-Thought（CoT）的问题是：

1. 暴露思考过程：每个中间步骤都生成 token，可被操纵、被审查 2. 线性推理：一旦某步错了，后续全错，没有回退机制 3. 上下文膨胀：长 CoT 序列占满上下文窗口

RDT 的隐式推理解决了这些问题：

1. 不暴露：所有思考在潜空间完成，只输出最终答案 2. 并行探索：连续潜空间可以同时编码 多个备选下一步，类似推理空间的广度优先搜索 3. 无上下文膨胀：循环次数不影响输出长度

Saunshi et al. (2025, arXiv:2502.17416) 的论文形式化证明了这个观点：

> "循环模型运行 T 次循环，在功能上等价于 T 步 CoT 推理。但连续潜空间可以编码多个备选路径，而不是单一提交的路径。"

6.2 系统性泛化的三阶段顿悟

Loop, Think, & Generalize 论文（arXiv:2604.07822）发现了一个惊人的现象：

循环模型获得 系统性泛化（组合从未在训练中见过的知识）的能力，不是渐进的，而是通过一个 三阶段顿悟（Grokking）过程：

1. 记忆化：模型拟合训练分布 2. 分布内泛化：模型处理已知的组合 3. 系统性泛化：模型突然能处理全新的、OOD（分布外）的组合

这意味着 Mythos 在 novel question 上的"断层领先"不是偶然—— 循环架构天然具备这种"能力相变"特性。

6.3 深度外推

训练时只给 5 步推理链，测试时要求 10 步。传统 Transformer 失败。循环 Transformer 成功—— 只需在推理时增加循环次数。

这直接解释了 Mythos 的一个_observable characteristic_：它在 deeply compositional problems（多步数学、长程规划、分层论证）上表现异常出色，且不需要显式 CoT。

---

七、OpenMythos 的代码实现

7.1 项目结构

from open_mythos.main import OpenMythos, MythosConfig

# 基础配置
cfg = MythosConfig(
    vocab_size=1000,
    dim=256,
    n_heads=8,
    max_seq_len=128,
    max_loop_iters=4,      # 最多循环次数
    prelude_layers=1,    # Prelude 层数
    coda_layers=1,         # Coda 层数
    n_experts=8,           # MoE 专家数
    n_shared_experts=1,    # 共享专家数
    n_experts_per_tok=2,   # 每 token 激活专家数
    expert_dim=64,
    lora_rank=8,           # 深度级 LoRA 秩
    attn_type="mla",       # "mla" 或 "gqa"
    # MLA 特有参数
    kv_lora_rank=32,
    q_lora_rank=64,
    qk_rope_head_dim=16,
    qk_nope_head_dim=16,
    v_head_dim=16,
)

model = OpenMythos(cfg)

# 前向传播，指定循环次数
logits = model(ids, n_loops=4)

# 生成，使用更多循环进行深度推理
out = model.generate(ids, max_new_tokens=8, n_loops=8)

# 检查稳定性
A = model.recurrent.injection.get_A()
rho = torch.linalg.eigvals(A).abs().max().item()
print(f"Spectral radius ρ(A) = {rho:.4f} (must be < 1)")

7.2 预配置模型规模

OpenMythos 提供了从 1B 到 1T 参数的预配置：

变体	dim	专家数	expert_dim	循环次数	上下文	最大输出
mythos_1b	2048	64	2048	16	4k	4k
mythos_3b	3072	64	4096	16	4k	4k
mythos_10b	4096	128	5632	24	8k	4k
mythos_50b	6144	256	9728	32	8k	4k
mythos_100b	8192	256	13568	32	1M	128k
mythos_500b	12288	512	23040	48	1M	128k
mythos_1t	16384	512	34560	64	1M	128k

注意：100B 以上模型的上下文窗口达到 1M，输出 128K——这直接对标了 Anthropic 公布的 Mythos 规格。

7.3 训练脚本

项目提供了 3B 模型在 FineWeb-Edu 上的训练脚本：

优化器：AdamW
数据集：HuggingFaceFW/fineweb-edu
Tokenizer：openai/gpt-oss-20b
并行：PyTorch DDP via torchrun
精度：bfloat16 on H100/A100
Schedule：Linear warmup (2000 steps) → cosine decay
目标：30B tokens（针对循环架构的 Chinchilla-adjusted）

---

八、记忆 vs 推理：RDT 的结构性偏见

Parcae 和后续研究观察到一个有趣的现象：

> 循环改善推理，但可能损害记忆化。

循环结构天然优化 迭代组合（推理链的前向推进），但不直接改善死记硬背的事实存储。

这映射到 Mythos 的一个 observable characteristic：

推理：对从未见过的新问题异常出色
事实召回：偶尔不一致

架构结构上偏向组合 > 记忆。

解决方案：在训练时通过 looping-based regularization 平衡这个 tradeoff——对推理任务施加更强的循环约束，对检索任务放松约束。

---

九、连续深度级批处理：推理效率的隐藏红利

循环架构的一个下游好处：Continuous Depth-wise Batching。

因为所有 token 共享同一个循环块，模型可以为不同 token/序列在 不同深度退出循环：

简单输入：2-3 次循环快速退出
复杂输入：16 次循环深度处理
同一 batch 内混合处理

理论分析表明这可以带来 2-3 倍 的推理吞吐量提升。

对于 Mythos 这样的大规模部署，同时服务数千用户，这个效率增益是实质性的。

---

十、争议：OpenMythos 是"复刻"还是"推测"？

10.1 诚实的定位

OpenMythos 的免责声明写得非常清楚：

> "OpenMythos 是一个独立的、社区驱动的理论重建，完全基于公开研究和推测。它 不隶属于、不得到 Anthropic 认可，也不连接到任何专有系统。"

Kye Gomez 也反复强调：不涉及任何模型权重泄露，是从理论推导的架构实现。

10.2 社区的分歧

支持方：

OpenMythos 把循环 Transformer 变成了任何人都能下载、实验、改进的开放项目
770M 参数打平 1.3B 的实证，证明了这种架构的 parameter efficiency 不是空谈
开源社区"第一性原理"能力的惊人展示

质疑方：

没有内部信息，架构细节可能是错的
循环 Transformer 的历史名声不好（RNN 的梯度问题）
Mythos 的强大可能来自训练数据（安全数据、代码库、漏洞数据库），而非架构
System Card 中的"网络安全能力"可能来自 specialized training corpus，而非 general architecture

10.3 一个冷静的评估

OpenMythos 是否真的"复刻"了 Claude Mythos？

答案是：没人知道。 Anthropic 没有公开架构，所以无法验证。

但这个问题本身可能不是最重要的。

重要的是： 1. 循环深度 Transformer 作为一个研究方向，被严肃对待了 2. Parcae 论文提供了稳定的训练配方和 Scaling Laws 3. 社区有了一套可运行的代码来实验这个架构 4. 参数效率的实证（770M = 1.3B）已经成立

即使 Mythos 不是 RDT，RDT 本身作为一个架构方向，已经值得投入。

---

十一、对 Scaling Law 的重新理解

11.1 传统 Scaling Law 的隐含假设

Kaplan 和 Hoffmann 的 Scaling Laws 假设：增加 FLOPs 的最佳方式是同时增加参数和数据。

但这个框架隐含了一个假设：模型是固定深度的。

RDT 引入了一个新维度：推理深度。

11.2 三维 Scaling 空间

现在我们有三个正交的 Scaling 轴：

轴	维度	传统方法	RDT 方法
参数	模型大小	堆层	控制循环块大小
数据	训练 token 数	更多数据	更多数据 + 更多循环
深度	推理循环次数	固定（层数）	可变（循环次数）

Parcae 的 Scaling Laws 显示：

固定参数时，增加循环次数和数据遵循可预测的幂律
固定 FLOP 时，最优策略是三者同时增加
测试时循环遵循饱和指数衰减

11.3 从"更大"到"更深"

行业趋势的潜在转变：

时代	核心指标	代表
2020-2023	参数规模	GPT-3, GPT-4
2023-2025	上下文长度	Claude 3, Gemini 1.5
2025-2026	推理深度	Mythos? OpenMythos?
未来？	循环次数 + MoE 专家选择	???

如果 RDT 被验证，未来的模型竞赛可能从"谁的 GPU 多"变成"谁的循环策略好"。

---

十二、结论：闭源护城河有多深？

OpenMythos 这件事最值得思考的地方，不是技术细节，而是它揭示的 行业动态。

12.1 闭源护城河的厚度

Anthropic 有：

245 页的 System Card
1 万亿 token 的 curated 训练数据（包括 CVE、Exploit-DB、恶意软件分析）
多亿美元的基础设施
世界顶级的研究人员

但一个 22 岁的年轻人，用 公开论文 + 第一性原理 + 两周时间，就能从零推导出一个 plausible 的架构实现。

这说明：架构层面的护城河，可能没有我们想的那么深。

真正难以复制的不是架构，而是： 1. 训练数据的质量和配比（尤其是安全领域的数据） 2. 对齐和安全工程的投入（Mythos 的安全机制花了多少人力？） 3. 大规模训练的运行 know-how 4. 评估基础设施（如何量化"网络安全能力"？）

12.2 开源社区的"第一性原理"力量

Kye Gomez 不是唯一一个这样做的人。

@yuekun_yao 提出了 Looped Transformer 假说
@realsigridjin 重写过泄露的 Claude Code 源码
Parcae 团队（UCSD + Together AI）提供了稳定的训练配方
DeepSeek 团队开源了 MoE 和 MLA

OpenMythos 是这些公开碎片的一次成功拼装。

12.3 最后的思考

Claude Mythos 被封印了。但 Mythos 的架构传说，通过 OpenMythos，被释放到了开源社区。

一个可能的未来：

> 闭源实验室训练最前沿的模型，但开源社区在"架构探索"的维度上跑得更快。 因为闭源实验室有动机隐藏创新，而开源社区有动机分享和验证。

Mythos 可能永远不会被公众使用。但 RDT 的思想，已经被写入了 PyTorch 代码，任何人都可以下载、修改、训练。

从这个角度看，OpenMythos 的意义远超一个"复刻项目"。它是 开源社区对闭源黑箱的一次系统性解构。

> "我不知道它是怎么做到的，但我可以研究一下它可能是什么原理。"

这句话，可能比任何 System Card 都更准确地描述了这个时代的 AI 研究。

---

核心信息源

OpenMythos GitHub: https://github.com/kyegomez/OpenMythos
Parcae 论文 (arXiv:2604.12946): https://arxiv.org/abs/2604.12946
Parcae 博客: https://sandyresearch.github.io/parcae/
Loop, Think, & Generalize (arXiv:2604.07822): https://arxiv.org/abs/2604.07822
Reasoning with Latent Thoughts (arXiv:2502.17416): https://arxiv.org/abs/2502.17416
DeepSeek-MoE (ACL 2024): https://arxiv.org/abs/2401.06066
DeepSeek-V2 (MLA): https://arxiv.org/abs/2405.04434
Universal Transformers (2018): https://arxiv.org/abs/1807.03819
Relaxed Recursive Transformers (arXiv:2410.20672): https://arxiv.org/abs/2410.20672
Anthropic System Card: https://www-cdn.anthropic.com/08ab9158070959f88f296514c21b7facce6f52bc.pdf
Kye Gomez 推文: https://x.com/KyeGomezB/status/2045659150340723107
社区关键讨论: https://x.com/realsigridjin/status/2046012743778766875

#记忆 #小凯 #ClaudeMythos #OpenMythos #循环Transformer #RDT #DeepSeek #MoE #MLA #Anthropic #ScalingLaw #开源 #深度研究