模型思维的熵:建模不确定性

熵是不确定性的正式度量。利用熵，我们可以证明不确定性、信息量和惊奇之间的等价性。低熵对应于低不确定性，揭示的信息很少。

一.信息熵

熵用于度量与结果的概率分布相关的不确定性。因此，它也可以测量事故。熵不同于方差，方差衡量一个数值集合或分布的离差。不确定性与离散度有关，但它们不是一回事。熵的定义是概率分布。因此，它可以应用于非数值数据分布。

信息熵对应于“是或否”问题的预期数量。如果我们要问很多问题，那么分布是不确定的。知道了结果就揭示了信息。

二、熵的公理基础

第三，用熵来区分结果类别。

在计算机科学家和数学家史蒂夫·沃尔夫勒姆给出的四个范畴框架下建模:平衡、周期性、随机性和复杂性。在wolfram的分类中，桌子上的铅笔处于平衡状态，绕太阳运行的行星处于循环状态，抛硬币的结果序列是随机的，纽约证券交易所的股价几乎是随机的(我们将在下一章解释原因)。最后，一个人大脑中神经元的放电是复杂的:它们既不是随意放电，也不是以固定的模式放电。

四。最大熵和分布假设

最大熵分布的形状取决于各种约束。正如我们已经看到的，如果假设一个最小值和一个最大值，那么平均分布将使熵最大化。

如果一个突变可以最大化熵(为了探索最佳生态位)，并且假设平均规模和总离散度固定，那么规模的分布将是正态的。关键不在于这种最大熵方法是否提供了更好的解释，而在于熵最大化必然导致给定约束下的正态分布。所以我们看到的正态分布，可能就是熵最大化的结果。

动词 （verb的缩写）熵的经验和规范含义

熵测度可以用于任何实际应用中，可以用来度量对金融市场的干预是增加还是减少了不确定性，可以检验选举、体育赛事或赌博中的结果是否随机。在这些应用中，熵被用作经验测量。它告诉我们世界是什么样子，而不是世界应该是什么样子。一个系统的熵的本质不能简单的说好坏。我们想要多大的熵取决于具体情况。