大语言模型对齐训练：PPO、DPO 和 GRPO

在大语言模型的对齐训练中，PPO、DPO 和 GRPO是最被关注的三种强化学习（或偏好优化）算法。一、PPO：近端策略优化全称：Proximal Policy Optimization背景：RLHF 的“标准答案”，最早由 OpenAI 在 2017 年提出，被用于 InstructGPT / ChatGPT 的第三阶段训练。1. 核心思想在传统策略梯度中，过大的更新步长容易导致模型崩溃。PPO 通过限制新策略与旧策略之间的差异来稳定训练。其核心是一个截断的目标函数：LCLIP(θ)=Et[min⁡(rt(θ)A^t,clip(rt(θ),1−ϵ,1+ϵ)A^t)]L^{\text{CLIP}}(\theta) = \mathbb{E}_t \left[ \min\left( r_t(\theta) \hat{A}_t,\ \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_t \right) \right]