#笔记

从策略梯度出发，梳理重要性采样、PPO 裁剪目标，以及 token 级与序列级权重带来的方差差异，作为高效策略优化工作的背景笔记。

• #RL
• #LLM
• #笔记