SFT的目标

• 现在我们有一个LLM，我们可以把它看成一个序列上的概率分布 $\pi_\theta(y \mid x)$
  • $x$ 是一整条prompt
  • $y$ 是一整条response
  • $\pi_\theta(y_i \mid x_i)$ 是模型对于输入 $x_i$ 输出 $y_i$ 的概率值
• 现在我们有一组数据， $\mathcal{D} = \{(x_i, y_i)\}{i=1}^{N}$ ，这一组数据是从某个分布 $p{\text{data}}$ 中采样出来的样本
• SFT的目标是让 $\pi_\theta(y \mid x)$ 接近 $p_{\text{data}}$
• 既然目标是让 $\pi_\theta(y \mid x)$ 接近 $p_{\text{data}}$ ，首先得衡量出来 $\pi_\theta(y \mid x)$ 距离 $p_{\text{data}}$ 的接近程度
• 用KL divergence 衡量接近程度，方向取 forward KL，目标是求出 $\arg\min_\theta\mathrm{KL}(p_{\text{data}}\,\|\,\pi_\theta)$：
  • 为什么kl div方向选forward，因为如果是reverse kl的话对模型 $\pi_\theta(y \mid x)$ 采样生成的y没法用 $p_{\text{data}}$ 求概率，因为我们并没有 $p_{\text{data}}$

$$ \begin{aligned}\mathrm{KL}(p_{\text{data}}\,\|\,\pi_\theta)&=\mathbb{E}{(x,y)\sim p{\text{data}}}\Big[\log p_{\text{data}}(y\mid x)-\log\pi_\theta(y\mid x)\Big]\\[6pt]&=\underbrace{\mathbb{E}{p{\text{data}}}\big[\log p_{\text{data}}(y\mid x)\big]}{=-H(p{\text{data}})\text{，与}\theta\text{无关}}\;-\;\underbrace{\mathbb{E}{p{\text{data}}}\big[\log\pi_\theta(y\mid x)\big]}_{\text{只有这一项含}\theta}\end{aligned} $$

• 因为没有 $p_{\text{data}}$，所以算不出来含 $\theta$期望，使用样本均值代替期望，即Monte Carlo 估计

$$ \mathbb{E}{(x,y)\sim p{\text{data}}}\big[\log\pi_\theta(y\mid x)\big]\;\approx\;\frac1N\sum_{i=1}^{N}\log\pi_\theta(y_i\mid x_i) $$

• 有负号所以SFT得目标变为找到最大化： $\frac1N\sum_i\log\pi_\theta(y_i\mid x_i)$ 的参数 $\theta$

$$ \arg\min_\theta\mathrm{KL}(p_{\text{data}}\,\|\,\pi_\theta)\;=\;\arg\max_\theta\mathbb{E}{(x,y)\sim p{\text{data}}}\big[\log\pi_\theta(y\mid x)\big]\;\approx\;\arg\max_\theta\frac1N\sum_{i=1}^{N}\log\pi_\theta(y_i\mid x_i) $$

• 求exp得

$$ \exp\Big(\sum_{i=1}^{N}\log\pi_\theta(y_i\mid x_i)\Big)=\prod_{i=1}^{N}\pi_\theta(y_i\mid x_i)=:\mathcal{L}(\theta) $$

• $\mathcal{L}(\theta)$叫似然（likelihood）：模型给这 $N$条数据的联合概率，看成 $\theta$的函数。连乘成立是因为样本独立

• exp 单调递增，不改变 argmax，所以 $\arg\max_\theta\frac1N\sum_i\log\pi_\theta(y_i\mid x_i)=\arg\max_\theta\mathcal{L}(\theta)$

• 所以SFT本身是一个对 $\theta$ 的MLE（maximum likelihood estimation，极大似然估计）的过程

  $$ \hat{\theta} = \arg\max_\theta \mathcal{L}(\theta), \quad \mathcal{L}(\theta) = \prod_{i=1}^{N} \pi_\theta(y_i \mid x_i)

  $$

• loss 取负 log，叫 NLL（negative log-likelihood）

似然

• 假设已经有了一批数据，和一个概率模型 $P(\text{data}\mid\theta)$，其中data是数据， $\theta$是概率模型参数。