Relative Entropy

定义 Definition

相对熵（Relative Entropy）是衡量两个概率分布差异的一种量，常指 Kullback–Leibler divergence（KL 散度）：用来表示当用分布 (Q) 去近似真实分布 (P) 时，信息损失（或“额外编码代价”）的大小。它不对称，一般 **(D(P|Q) \neq D(Q|P))**，且不是真正意义上的距离。

发音 Pronunciation (IPA)

/ˈrɛlətɪv ˈɛntrəpi/

例句 Examples

Relative entropy is zero only when the two distributions are identical.
相对熵只有在两个分布完全相同的时候才为零。

In variational inference, minimizing relative entropy helps us find an approximate distribution that best matches the target posterior.
在变分推断中，最小化相对熵有助于找到与目标后验分布最匹配的近似分布。

词源 Etymology

“Relative”意为“相对的”，强调这是相对于另一个分布来度量；“entropy（熵）”来自信息论与统计物理中对“无序度/不确定性”的概念。相对熵由 Kullback 与 Leibler 在 20 世纪中期系统提出，用于刻画两个分布之间的“信息差”，因此也常被称为 KL 散度。

相关词 Related Words

• Divergence
• Entropy
• Cross-Entropy
• Kullback–Leibler Divergence
• Mutual Information
• Likelihood
• Bayesian
• Variational Inference

文学与经典著作 Literary Works

• Thomas M. Cover & Joy A. Thomas, Elements of Information Theory（信息论经典教材，系统讨论相对熵/KL散度）
• Solomon Kullback, Information Theory and Statistics（将相对熵用于统计推断的重要著作）
• David J. C. MacKay, Information Theory, Inference, and Learning Algorithms（以直观方式讲解相对熵在学习算法中的作用）
• E. T. Jaynes, Probability Theory: The Logic of Science（以概率推断视角讨论KL散度等信息量度）