#强化学习
6 posts · All tags
以“优化机制”为主轴梳理用 RL 对齐扩散/Flow 生成模型的技术谱系：扩散与 Flow Matching 的数学基础、为何 ODE 要转 SDE、GRPO 家族（Flow-GRPO/DanceGRPO/G²RPO/GRPO-Guard/Flow-DPPO/Flow-OPD）、DPO 与可微反传，以及 Flow-GRPO 与 LLM-GRPO 的本质区别。
用 verl 真实代码把 6 个主流 RLHF/RLVR 算法一次讲透：以“算法 = Advantage 估计 × Policy Loss”的统一框架，逐一拆解 PPO、GRPO、Dr.GRPO、GSPO、DAPO、OPD，以及 RLOO/ReMax/REINFORCE++/OPO/GPG 等 Critic-free 变体。
verl 最有工程含量的部分：生成为什么单独用 vLLM/SGLang，BaseRollout 的 resume/generate/release/update_weights 生命周期，以及训练后新权重如何经 ShardingManager 重分片同步回推理引擎、显存如何错峰。
把 WorkerGroup、DataProto 串起来读 verl 的“剧本”：RayPPOTrainer.fit() 主循环，以及 core_algos.py 里 GAE 与 GRPO 组内归一化、PPO 裁剪目标、KL 惩罚的具体实现。
verl 里贯穿全程的数据总线 DataProto：batch / non_tensor_batch / meta_info 三段式结构，以及 chunk / concat / union / select / repeat 五个核心操作如何支撑分布式分发与 RL 多阶段数据流。
verl 是什么、解决什么问题、核心概念有哪些、一次 RL 训练的数据流长什么样。本系列第 1 篇建立对 HybridFlow、single-controller/multi-controller、DataProto 与 WorkerGroup 的整体认知。