Maximum Entropy

释义 Definition

“Maximum entropy”（最大熵）通常指“最大熵原理”：在已知约束条件（例如平均值、总量等）下，选择熵最高的概率分布作为最合理的模型；直观上就是“在不违背已知信息的前提下，尽量不额外假设”，保持最大的不确定性/最少的偏见。该短语也常泛指“使系统熵达到最大”的状态或方法（在统计学、信息论、统计物理、机器学习中很常见）。

发音 Pronunciation (IPA)

/ˌmæksɪməm ˈɛntrəpi/

例句 Examples

The maximum entropy model uses only the information we actually know.
最大熵模型只使用我们确实已知的信息。

Under the constraints of the observed averages, the maximum entropy distribution is the least biased choice.
在观测到的平均值等约束条件下，最大熵分布是最不带偏见的选择。

词源 Etymology

“Maximum”源自拉丁语 maximus（“最大”），“entropy”源自希腊语 entropia（大意为“转变/变化的倾向”）。19世纪“entropy”在热力学中被系统化使用；20世纪后，“最大熵”作为一种推断原则在信息论与统计学中发展成熟，强调在约束下“最大化熵”以避免引入多余假设。

相关词 Related Words

• Entropy
• Information Theory
• Constraint
• Gibbs Distribution
• Boltzmann
• Bayesian
• Prior
• Cross-Entropy
• Statistical Mechanics

文学与著作中的用例 Notable Works

• E. T. Jaynes，《Probability Theory: The Logic of Science》（《概率论：科学的逻辑》）
• David J. C. MacKay，《Information Theory, Inference, and Learning Algorithms》（《信息论、推断与学习算法》）
• John E. Shore & Rodney W. Johnson, “Axiomatic Derivation of the Principle of Maximum Entropy and the Principle of Minimum Cross-Entropy”（论文）
• “Maximum Entropy and Bayesian Methods”（系列会议论文集，多卷）