#PPO
2 posts · All tags
用 verl 真实代码把 6 个主流 RLHF/RLVR 算法一次讲透：以“算法 = Advantage 估计 × Policy Loss”的统一框架，逐一拆解 PPO、GRPO、Dr.GRPO、GSPO、DAPO、OPD，以及 RLOO/ReMax/REINFORCE++/OPO/GPG 等 Critic-free 变体。
把 WorkerGroup、DataProto 串起来读 verl 的“剧本”：RayPPOTrainer.fit() 主循环，以及 core_algos.py 里 GAE 与 GRPO 组内归一化、PPO 裁剪目标、KL 惩罚的具体实现。