1 posts · All tags
流水线并行把模型的层切到不同卡。本文讲清 microbatch、流水线气泡（bubble），对比朴素 GPipe 与 1F1B 调度，推导 bubble 公式，并给出 64 卡 3D 并行蓝图。