免费小说阅读网

手机浏览器扫描二维码访问

第441章 香农的信息熵（第8页）

！

而且可以想象，当n无穷大的时候，这里的“几乎”

和“差不多”

都可以删去！

在老千掷硬币这个例子里，如果一个硬币的序列有差不多n3个1和2n3个0，那么俺就管这种序列叫“典型序列”

。

在更普遍的意义上，相对于一个在S上定义的分布P（x），一个由S里的数字组成的长度为n的序列俺也管它叫典型序列，如果S里的每个数a在这个序列中出现了差不多n*P（a）次。

在典型序列定义中的“差不多”

是差多少？呵呵，跟前面的逻辑一样，如果n很大，差不多就是差一丁点，如果n无穷大，差不多可以是“一点不差”

！

那么上面重要的说了三遍的话用这个语言重新说，就是：

老千掷出的序列几乎可以肯定是典型的！

老千掷出的序列几乎可以肯定是典型的！

老千掷出的序列几乎可以肯定是典型的！

当n无穷大的时候，这句话里的“几乎”

当然也是可以删掉的。

也就是说，在n无穷大的时候，不典型的序列根本不会出现！

那么，你问问题的时候岂不是只需要针对典型序列问问题就行了？

正是如此！

那咱们看看典型序列一共有多少个。

把这个要算的数记作T。

首先注意一下每个典型序列有多大的概率被老千掷出来。

因为每个典型序列“差不多”

由n3个1和2n3个0组成，而这个序列中的所有随机变量又是相互独立的，那么，每个典型序列被掷出来的概率“差不多”

就是（13）^（n3）*（23）^（2n3）。

不知道同学们注意到没有，每个典型序列被掷出来的概率“差不多”

都是这个数。

同时注意到只有典型序列才可能被掷出来，也就是说，所有典型序列出现的概率之和“差不多”

就是1。

这样俺们就可以得出，典型序列的数目T“差不多”

就是1除以每个典型序列出现的概率，也就是

1（（13）^（n3）*（23）^（2n3））=（13）^（-n3）*（23）（-2n3）.

针对这T个序列问问题，就“差不多”

等同于俺跟你玩一次这样的“二十个问题”

游戏：俺从{1，2，…，T}里取一个数，而且这个数服从均匀分布；然后你问俺“是不是”

问题来猜这个数。

那么你最少需要多少问题呢？现在回头找到之前让你们用红笔圈出的结论：最优解是二分法；你最少需要的问题总数是logT！

而且不管俺取的是哪个数，你都需要这么多问题！

认真的同学可能会叫板说，哎，这个T也未必是2的整数次方啊，二分法能用吗？！

嗯，这个问题不错。