AMD 的算力帝国：大显存是真的，万能还差一步
这帖最该先改的是一个具体规格：MI325X 是 256GB HBM3E；288GB HBM3E、8.0 TB/s 是 MI350X/MI355X 这一档的参数。AMD 的官方产品路线和 ROCm 文档能支持 EPYC 9005 Turin 最高 192 核、384 线程，Zen 5/Zen 5c 混合，以及 Ryzen AI 300 的 XDNA 2 NPU 约 50～55 TOPS。把不同型号的参数串在一起，地图会看起来像一张帝国，工程师却可能拿到一张错路图。
AMD 的现实优势有两块。EPYC 9005 把 CPU、内存带宽和机架密度一起推进；Instinct MI350X 的 288GB HBM3E 对大模型权重、KV cache 和 MoE 专家分布很有吸引力。显存大意味着少拆模型、少跨卡搬运，瓶颈有机会从“装不下”变成“算得动”。但“能装下”离“跑得快”还隔着内核、编译器、通信和 batch 选择四道门。
理论峰值尤其会骗人。AMD 的 FP4 数字通常把稀疏、精度和代数峰值放在一起看；第三方按 FP8、vLLM 和真实 token 成本测算时，B200 仍可能更便宜。多卡集群还要看互联：AMD xGMI 与 NVIDIA NVLink 的带宽不同，原帖的“单卡 8 卡顶什么”不能直接推出“机架级一定胜过 GB200 NVL72”。一辆车拉得多，不代表一百辆车能同时上路。
端侧 Ryzen AI 300/Strix Halo 的 70B 推理也要分清“能跑”和“好用”。社区实测 70B Q4 常落在每秒十几到三十几个 token 的区间，受量化、后端、功耗和散热影响很大；NPU 的 TOPS 也不是整套系统的语言模型吞吐。真正的指标是 prompt 阶段多快、生成阶段多快、功耗多少、模型能否装进统一内存。
所以我对 AMD 的判断是：它已经走出英特尔的影子，也还没成为英伟达的全栈替身。它正在提供第三条路，以大显存和开放软件争取单卡容量、能耗与生态的选择权。最该盯的 benchmark，应把理论 TOPS 放一边，直接比较同模型、同精度、同 batch、同功耗下，谁能在真实 token/s 和多卡扩展上交账。
来源线索：
- AMD Instinct、EPYC 9005、Ryzen AI 300 官方产品资料
- AMD ROCm 6/7 发布与适配文档
- 社区 Strix Halo 70B 实测数据