#LLM
9 posts · All tags
从策略梯度出发，梳理重要性采样、PPO 裁剪目标，以及 token 级与序列级权重带来的方差差异，作为高效策略优化工作的背景笔记。
我在 ACL 2026 的 oral presentation 整理：面向 RAG 的层次化分块框架 HiChunk 与评测基准 HiCBench。逐页给出幻灯片要点，并附上当时的英文演讲稿（讲稿备注）。
verl 里贯穿全程的数据总线 DataProto：batch / non_tensor_batch / meta_info 三段式结构，以及 chunk / concat / union / select / repeat 五个核心操作如何支撑分布式分发与 RL 多阶段数据流。
verl 是什么、解决什么问题、核心概念有哪些、一次 RL 训练的数据流长什么样。本系列第 1 篇建立对 HybridFlow、single-controller/multi-controller、DataProto 与 WorkerGroup 的整体认知。
数据并行为什么会重复浪费显存？本文讲清混合精度下的 16 字节/参数构成、ZeRO 思想、Megatron 分布式优化器（reduce-scatter + all-gather）、梯度缓冲区 overlap，并厘清 ZeRO 各档与 Megatron / FSDP / DeepSpeed 的关系。
流水线并行把模型的层切到不同卡。本文讲清 microbatch、流水线气泡（bubble），对比朴素 GPipe 与 1F1B 调度，推导 bubble 公式，并给出 64 卡 3D 并行蓝图。
张量并行把单层的权重矩阵切到多张卡。本文从矩阵乘法的行/列切分讲起，解释 Column/Row Parallel Linear、f 与 g 镜像算子，以及为什么 TP 必须绑定 NVLink 同机。
分布式训练系列开篇：先补齐为什么需要多卡训练、集合通信原语等背景，再讲 Megatron 的 GPU 网格世界观（TP/PP/DP/CP/EP）和一次训练迭代的完整生命周期。
学术主页兼技术博客上线。简单介绍我会在这里分享的内容：论文解读、研究笔记与工程实践。