【Finetune学习】02：训练到底在干什么？

张开发
• 2026/4/15 3:38:35 • 15 分钟阅读

最新文章

推荐文章

相关文章

分享文章

【Finetune学习】02：训练到底在干什么？
Fintune 前篇： 【Finetune学习】01：为什么你的大模型需要“再学习“？​ 上一篇我们知道了 Finetune 是什么、什么时候该用。但当你真正打开训练脚本，看到 loss 曲线在跳动、eval 指标在变化，这些数字到底在说什么？​ 这篇文章回答一个核心问题：训练时真正发生了什么，以及你应该看什么。一、训练的本质：最小化损失函数1.1 什么是损失函数？​ 模型训练的目标只有一个：让模型的输出尽可能接近标准答案。损失函数（Loss Function）就是衡量"差多远"的指标。​ 对于语言模型的 Finetune，最常用的损失函数是交叉熵损失（Cross-Entropy Loss）：L = − 1 T ∑ t = 1 T log ⁡ P θ ( w t ∣ w 1 , w 2 , … , w t − 1 ) \mathcal{L} = -\frac{1}{T}\sum_{t=1}^{T} \log P_\theta(w_t | w_1, w_2, \ldots, w_{t-1})L=−T1​t=1∑T

更多文章