Cross-entropy（交叉熵）是信息论与机器学习中衡量“两种概率分布差异”的指标：当用一个分布（如模型预测分布）去近似另一个分布（如真实分布）时，交叉熵表示平均需要多少信息量（不确定性/编码长度）。在分类任务中，它常作为损失函数，用来惩罚预测与真实标签不一致的情况。
/ˌkrɔːs ˈɛntrəpi/
Cross-entropy is a common loss function for classification.
交叉熵是分类任务中常用的损失函数。
To train the neural network, we minimized the cross-entropy between the predicted probability distribution and the true labels.
为了训练神经网络，我们最小化预测概率分布与真实标签之间的交叉熵。
cross- 有“交叉、相互”的含义，表示“一个分布相对于另一个分布”；entropy 源自信息论中的“熵”，表示不确定性或信息量。合起来，cross-entropy强调：用“另一套概率分布”来度量（或编码）目标分布时所产生的平均信息量。
Select Language