免费小说阅读网

手机浏览器扫描二维码访问

第441章 香农的信息熵（第3页）

简单吧。

很多同学可能都有直觉的认识，能感觉到如果把产生这个随机变量X的随机实验做很多次，把得到的数字取平均，那么这个平均数差不多就是X的均值。

这个概念，叫做大数定理，跟俺要讲的熵有着本质的联系，俺这里不敢唐突，稍后会带同学们仔细品味。

很多时候俺们关心的不止一个随机变量，而是很多随机变量。

比如，俺们同时关心两个随机变量X和Y，X的取值范围是{1，2}，Y的取值范围是{1，2，3}。

那么俺们可以把这两个随机变量看作一个随机变量对，写作（X，Y），而把它的取值范围理解为所有可能的（X，Y）取值的组合，也就是{（1，1），（1，2），（1，3），（2，1），（2，2），（2，3）}。

把这个集合叫作S，那么这对随机变量就是通过一个定义在S上的概率分布函数P（x，y）来描述的。

当这个随机变量对的分布满足P（x，y）=P（x）P（y）的时候，俺们就称这两个随机变量是相互独立的。

P（0，0）=P（0）P（0）=（23）（23）=49

P（0，1）=P（0）P（1）=（23）（13）=29

P（1，0）=P（1）P（0）=（13）（23）=29

P（1，1）=P（1）P（1）=（13）（13）=19

独立随机变量的概念当然可以推广到更多的随机变量上。

如果有n个随机变量，它们的取值无非就对应了一个长度为n的序列。

所有这样序列的集合就是这组随机变量的取值范围。

如果这些随机变量是相互独立的，那么每个序列出现的概率无非就是把这个序列中每个数出现的概率乘在一起。

比如，上面的老千连续掷了10次硬币，那么出现1101011110的概率就是：

（13）（13）（23）（13）（23）（13）（13）（13）（13）（23）=（13）^7*（23）^3.

哎，累死俺了，这个也要讲，学霸们可能要打瞌睡了。

不好意思，俺怕讲得太快，有的同学要去看韩剧了。

哎，致敬也是体力活啊！

大数定理的英文是，它的中文翻译通常是“大数定律”

而不是大数定理。

但俺却偏要叫它大数定理！

定律或是英文里的law都是指不需要证明但可以被验证的理论假设。

比如牛顿的万有引力定律。

从数学上说，不需要证明就被接受的假设被认为是公理。

但是这个大数定理并非公理，它是被严格证明出来的（证明也不复杂，只要用马尔可夫不等式或切比晒夫不等式就行了），因此准确的数学语言应该叫它“定理”

。

管他叫“定律”

会让人以为这个东东就是假设出来的公理，从而产生歧义，当年也不知道谁这么没涵养管它叫“law”

。

所以，不管你们服不服，俺都要管它叫大数定理。

大数定理大概说了这样一个意思。

假设有某个随机实验会产生一个随机变量X。

如果你重复做这个随机实验n次，你就会得到一个随机变量序列X1，X2，X3，…，Xn。

这里假定这些随机变量相互独立（即这些随机实验互不影响）而且n是个很大的数（比如，一万，十万，百万），那么把这n个数加起来除以n（即取平均），得到的数（即（X1+X2+…+Xn）n）几乎总是很接近随机变量X的均值。

同学们注意一下俺这里“几乎总是”

和“很接近”

的用词哈。