#GRPO
3 posts · All tags
以“优化机制”为主轴梳理用 RL 对齐扩散/Flow 生成模型的技术谱系：扩散与 Flow Matching 的数学基础、为何 ODE 要转 SDE、GRPO 家族（Flow-GRPO/DanceGRPO/G²RPO/GRPO-Guard/Flow-DPPO/Flow-OPD）、DPO 与可微反传，以及 Flow-GRPO 与 LLM-GRPO 的本质区别。
用 verl 真实代码把 6 个主流 RLHF/RLVR 算法一次讲透：以“算法 = Advantage 估计 × Policy Loss”的统一框架，逐一拆解 PPO、GRPO、Dr.GRPO、GSPO、DAPO、OPD，以及 RLOO/ReMax/REINFORCE++/OPO/GPG 等 Critic-free 变体。
把 WorkerGroup、DataProto 串起来读 verl 的“剧本”：RayPPOTrainer.fit() 主循环，以及 core_algos.py 里 GAE 与 GRPO 组内归一化、PPO 裁剪目标、KL 惩罚的具体实现。