#MoE
3 posts · All tags
以 DeepSeek-V3 的真实 Megatron 训练脚本为样本，把每个训练参数对回背后的原理：MLA、细粒度 MoE、MTP、EP+ZeRO-3 的并行哲学；并横向对比 Qwen3-235B（两种 MoE 路线）、给出主流百亿/万亿模型并行地图，以及预训练→SFT→RL 的完整训练链路。
在 64 卡 RoCE 集群上对 Qwen3-235B-A22B（MoE）做角色扮演全参 SFT 的完整复盘：环境、网络、数据、模型、权重转换、训练到踩坑七步链路，附实跑数字与参数。
把 3D 并行扩展到五维。本文讲 MoE 为什么能解耦参数量与计算量、专家并行 EP 的两次 all-to-all、router 的负载均衡，以及上下文并行 CP 如何用 Ring Attention + zigzag 切法处理超长序列。