知识蒸馏知识点

1基于kl散度计算，学生模型需要用log_softmax处理

2 为了避免温度对梯度的影响，loss*T**2

操作 目的 教师 / 学生输出除以 软化概率分布，暴露类别间关系 损失乘以 抵消温度对梯度的缩放，维持梯度量级稳定，确保训练收敛性

import torch import torch.nn.functional as F # 原始logits（未缩放） z_teacher = torch.tensor([[3.0, 1.0, 0.5]]) z_student = torch.tensor([[2.5, 0.8, 0.3]], requires_grad=True) # 直接启用梯度 # 温度参数 T = 4.0 # 计算KL散度损失（带温度缩放） P = F.softmax(z_teacher / T, dim=1) log_Q = F.log_softmax(z_student / T, dim=1) # 此时梯度已追踪 # 损失计算 loss_unscaled = F.kl_div(log_Q, P, reduction='batchmean') loss_scaled