文章目录知识蒸馏温度系数 T 深度解析：公式推导 + PyTorch 自适应策略一、核心公式1.1 带温度 Softmax1.2 蒸馏损失1.3 梯度分析二、代码实现2.1 基础蒸馏2.2 训练2.3 温度影响实验三、自适应温度策略3.1 线性衰减3.2 基于困惑度的自适应3.3 课程蒸馏 (Curriculum Distillation)四、多教师 + 多温度蒸馏五、实验对比六、调参指南七、常见问题八、总结代码链接与详细流程购买即可解锁1000+YOLO优化文章，并且还有海量深度学习复现项目，价格仅需两杯奶茶的钱，每日更新知识蒸馏温度系数 T 深度解析：公式推导 + PyTorch 自适应策略一、核心公式1.1 带温度 SoftmaxP_i = exp(z_i / T) / Σ_j exp(z_j / T) T = 1 → 标准 Softmax (硬标签) T 1 → 分布平缓 (软标签, 更多知识) T → ∞ → 均匀分布 (信息消失) T → 0 → one-hot 硬标签 (退化为 CE)1.2 蒸馏损失L_KD = α · L_CE(y, σ(z_s)) + (1-α) · T² · KL(σ(z_t/T) || σ(z_s/T)) L_CE: 硬标签交叉熵损失 KL: 教师-学生软标签 KL 散度 T²: 梯度缩放补偿 α: 硬/软损失权重1.3 梯度分析∂L/∂z_s = (1-α) · (P_s - P_t) /