免费小说阅读网

手机浏览器扫描二维码访问

第441章 香农的信息熵（第7页）

因为同样的道理，如果这个游戏攒2n个一起玩，其效率也一定不比攒n个一起玩低。

也就是说，为了提高效率，n应该越大越好。

那么攒起来玩的效率到底最高可以达到多少呢？或者说，对一个给定的信息源，平均每个蹦出来的随机变量最少需要多少个比特来表示呢？这个数字通常跟序列的长度n相关，而且对于任意一个给定的n，即使俺们能够确定最优的压缩方法，精确地确定这个数字也是一件很棘手的事。

不过既然俺们已经认识到n越大越好，那不妨考虑n取无穷大吧。

当n取无穷大时，如果俺们能够计算出信息源里平均每个蹦出的随机变量最少需要多少比特来表示，这个数字不仅标记了最优的压缩效率，它同时还有着更深刻的物理意义：它跟序列的长度n无关，也跟编码方法无关；换言之，这个比特数只取决于信息源本身（即随机变量X或其分布P（x））。

因为这个比特数是由最优编码／解码方法实现的，它同时说明了两件事：

1.只要解码端接收到的平均比特数不到这个数字（平均到每个随机变量上），不论用什么编码／解码方法都一定无法重建信息源里蹦出的随机序列。

2.只要解码端接收到的平均比特数超过这个数字，就一定有一种编码／解码方法可以使解码端重建这个序列。

这就是说，在平均意义上，你一定需要这么多比特来表达信息源里蹦出的每一个随机变量，而且只要这么多比特就够了！

因此，这个比特数实际上就标注了这个信息源在以什么样的“速率”

释放“信息”

，或者说标注了这个信息源里蹦出的每个随机变量平均包涵了多少“信息”

！

下面俺们就来看看是否可以导出这个最小比特数。

嗯，没错，终于要掀开她的红盖头了。

等不及了吧。

最小比特数

还是二十个问题攒着玩吧。

不过这次俺也不去想什么随机数了。

俺就把之前例子里的那个老千找来，让他躲在俺身后不停地掷硬币。

俺就把他掷出的01结果写在纸条上。

等俺写完n个数的时候，就让你开始问问题。

前面说过，这无非就是把这个老千掷硬币的结果当作一个信息源，对这个信息源做压缩。

因为n很大很大，让我们先回顾一下大数定理的情怀：

老千掷出的硬币序列的平均值几乎总是很接近13。

根据俺之前对这句话不辞劳苦的解释，这句话也可以换一种说法，而且这种说法很重要（重要的事情说三遍！

）

老千掷出的序列几乎可以肯定有差不多n3个1和2n3个0！

老千掷出的序列几乎可以肯定有差不多n3个1和2n3个0！

老千掷出的序列几乎可以肯定有差不多n3个1和2n3个0！

同学们再好好体会一下俺极其考究、极负责任、极具情怀的用词：“几乎可以肯定”

和“差不多”

。

这个重要结论很容易推广到掷硬币之外的任意随机变量：假设随机变量X是通过一个在集合S={1，2，…，M}上定义的概率分布函数P（x）描述的。

那么当俺们产生n个相互独立的这样的随机变量的时候，如果n是个很大的数字而a是S中的任意一个数，那么：

产生的随机序列几乎可以肯定有差不多n*P（a）个a！

产生的随机序列几乎可以肯定有差不多n*P（a）个a！

产生的随机序列几乎可以肯定有差不多n*P（a）个a！

也就是说，虽然得到的序列本身是随机的，不确定的，但是当n很大的时候，这个序列的组成“几乎”

是“差不多确定的”