免费小说阅读网

手机浏览器扫描二维码访问

第441章 香农的信息熵（第9页）

但可以这样想，只要把n弄得足够大，总可以让T非常接近2的某个整数次方。

而且，即使T真的不是2的整数次方，还可以换一个角度得到我们后面要得到的结论，比如，一定存在一个整数K使得T是在2^K和2^（K+1）之间......总之，当n无穷大的时候，凌乱的世界都变整齐了，这个问题不再是问题了。

这个最少问题数logT是用来问这个长度为n的硬币序列的。

平均到每次掷硬币，平均需要的最少问题数就是（logT）n。

稍微整理一下这个表达式就应该可以看到，这个数字正好等于-（13）log（13）-（23）log（23）。

这也就是压缩这个“老千掷硬币”

信息源所需要的最少比特数。

把这种推演用到任意信息源。

如果一个信息源往外蹦的随机变量都独立而且服从同一个定义在S={1，2，…，M}上的分布P（x），那么以下结论依次成立。

信息源里蹦出的随机序列几乎可以肯定是典型的！

每个典型序列出现的概率差不多就是P（1）^（nP（1））*P（2）^（nP（2））*…*P（M）^（nP（M））!

典型序列的个数T差不多就是P（1）^（-nP（1））*P（2）^（-nP（2））*…*P（M）^（-nP（M））!

压缩这个信息源蹦出的每个随机变量平均所需要的最少比特数就是（logT）n！

这个数字（logT）n就等于：-P（1）logP（1）-P（2）logP（2）-…-P（M）logP（M）.

这个数字，就是熵。

从熵的表达式看，熵是通过一个概率分布函数P（x）来定义的。

因为概率分布函数P（x）都对应于它所描写的随机变量X，所以俺们也可以认为熵是对随机变量X的某种特性的度量，而把它记作H（X）。

从压缩的角度讲，熵值H（X）是对产生随机变量X的信息源编码所需要的平均最小比特数，或随机变量X中固有的平均信息量。

如果随机变量X是在S={1，2，…，M}里取值，那么可以证明，熵值H（X）的取值必定在0和logM之间。

当随机变量X在S上均匀分布的时候，H（X）取最大值logM；当X以百分之百的概率取S中的某个数值的时候，H（X）取最小值0。

前者对应于“不确定性”

最大的X，而后者对应于“不确定性”

最小的（即完全可以确定的）X。

所以，也可以把熵值H（X）理解为对随机变量X的“不确定性“（或“不可预测性”

）的度量。

因此，随机变量所包含的“信息量”

和它的“不确定性”

其实是同一个概念。

一个随机变量越难以确定，它所包含的信息量越多。

这种认识对初次接触熵的人来说或许不够自然。

但仔细体会一下，确实是有道理的。

如果俺想告诉你的事你很容易猜到，或者说你不用问几个问题就能知道，那俺要说的话对你来说就没多少信息量。

在熵的定义里－logP（a）又是什么物理意义呢？当然这个数字可以理解为a编码所需要的比特数（在前面例子里，我们能看到以18概率出现的事件，需要用3个比特来编码）。

换一个角度理解，－logP（a）可以理解为a的“惊奇度”

。

一个出现概率极低的事件a，比如世界末日，它一旦出现就会令人非常惊奇，所以对应的－logP（a）就会很大；而如果a出现的概率很大，它的出现就不会太令人吃惊，所以对应的－logP（a）就会很小。

因此，熵值H（X）也可以理解为随机变量X的“平均惊奇度”

。

用不确定性，信息量，或平均惊奇度来理解熵，都只是给它赋予一个直觉的解释。

平均最小编码长度才是对熵的数学理解。