免费小说阅读网

手机浏览器扫描二维码访问

第441章 香农的信息熵（第10页）

但这种理解并不能体现出大数定理在熵的定义里所起的决定性作用以及“二十个问题”

游戏必须攒着玩才能实现最短问题数等于熵值的深刻认识。

在大数定理的情怀下，熵值H（X）还有另一个数学解释：H（X）是典型序列的总数随序列长度的“翻倍速率”

。

看，长度为n的典型序列总数T差不多是2^（nH（X））；也就是说，每当序列长度n增加1，T就增大2^（H（X））倍，或者说，翻倍翻了H（X）次。

所以把熵理解为典型序列总数的翻倍速率才能真正体现熵的数学本质。

当然，这样的理解就离韩剧更加遥远了。

熵，或英文里的entropy，本来源于物理中的热力学，用来描写系统的“混乱度”

。

香农在定义信息熵的时候借用了这个词。

虽然俺经常夜观星象，也能在夜空没有雾霾的时候认出北斗星，但对宇宙、相对论，或是热力学，都一窍不通。

所以俺就不试图解释物理熵和信息熵的联系了。

但在通信的范畴，熵是人类第一次对信息有了数学的认识。

人类刚刚开始研究数字通信的时候基本就是瞎子摸象，直到1948年香农在贝尔实验室发表了那篇著名的文章，“通信的数学理论”

。

倚天剑一出，天下皆惊。

香农一针见血地指出，通信的问题可以分解成两个的问题，即信源编码和信道编码。

信源编码的目的是尽可能高效的表示信息源，即数据压缩；信道编码的目的则是尽可能高效的让数据可靠无误地通过信道。

在他1948年的文章里，香农证明了信源编码的极限是信源的熵，而信道编码的极限则是个叫信道容量的东东，标注着信道可以支持的最大通信速率。

（信道容量的概念是在熵的基础上的对信息论的进一步发展，故事更长，更精彩，不过俺还是不讲了吧。

）香农说，只有当信源的熵低于信道的容量的时候，可靠的通信才可能实现；而且只要在这个条件下，可靠的通信就一定可以实现！

香农的证明是存在性证明，就是说，他告诉俺们：反正这事儿一定可以实现，至于怎么实现，你们自己想办法吧。

信源编码的问题很快被香农的追随者和逐步解决。

基于算术编码（arithmeticcoding）和LZ编码（Lampel-Zivcoding）的信源编码方法在上世纪七八十年代已经日渐成熟，实现了香农预测的压缩极限并在实践中被广泛采纳。

而香农预测的信道编码的极限，信道容量，却花费了人类半个世纪挣扎。

业外人士未必了解，对信道编码的研究结晶了人类最高的智慧和前赴后继的努力。

然而香农预测的信道容量直到上世纪九十年代中叶才终于被实现。

今天我们的手机里也终于承载了香农在1948年的预言！

熵的提出是信息论起点，也是人类对信息认知的开始，而香农在他1948年文章里提出的数学工具正是信息论的骨架。

在我们今天生活的信息时代，香农和信息论存在于我们的手机，我们的电脑，我们的电视，我们的蓝光播放器，我们的internet，我们的facebook，我们的韩剧......

大约七十年前，当人们还在黑暗中摸索数字通信的时候，香农说，要有熵。

于是，就开启了信息时代。