#数据并行
1 posts · All tags
数据并行为什么会重复浪费显存？本文讲清混合精度下的 16 字节/参数构成、ZeRO 思想、Megatron 分布式优化器（reduce-scatter + all-gather）、梯度缓冲区 overlap，并厘清 ZeRO 各档与 Megatron / FSDP / DeepSpeed 的关系。
1 posts · All tags
数据并行为什么会重复浪费显存？本文讲清混合精度下的 16 字节/参数构成、ZeRO 思想、Megatron 分布式优化器（reduce-scatter + all-gather）、梯度缓冲区 overlap，并厘清 ZeRO 各档与 Megatron / FSDP / DeepSpeed 的关系。