香农三定律,奠定了信息传输和存储的理论基础,指明了信息产业的发展方向,下面我们就来说一说关于香农定理与通俗解释?我们一起去了解并探讨一下这个问题吧!

香农定理与通俗解释(香农三定律)

香农定理与通俗解释

香农三定律,奠定了信息传输和存储的理论基础,指明了信息产业的发展方向。

香农第一定律,又称无失真信源编码定律。对于任何信息,无论采用哪一种方式编码,得到的编码总长度永远不会小于这段信息的信息熵(即这段信息固有的信息量)。最佳无失真编码的编码位数可以很小,但不能小于信息熵。 32个球队,猜测哪个是冠军,只需要猜测5次即可,如果用二进制来说,给每个球队编码,最短的编码长度是5,如32支球队编码为 00000,00001,00010,00011……11111,一套五位数代表一个球队。这比实际说出球队名称要简单一些,在传递过程中,传递成本低,效率高。 如果编码多于5,就包含冗余信息,如果少于5,就有信息失真,在传递的过程中,冗余信息过多,容易被破解(二战期间,各国加密文件传输常备敌国破译就是这个因素);失真信息存在,在信息传递不完整不能实现传递效果。

香农第一定律,为信息压缩指明方向(给信息编码),也为信息压缩规定了一个极限,如果不想丢失信息(失真),就不能将信息压缩到小于信息熵。

香农第二定律,也叫有噪信道编码定律,在任何一个信道中,无论怎样对编码进行优化,信息的传输率R永远都不可能超过信道的容量C。 信道就是通信通道,信道容量是这个信道所能传递信息的上限,具体的,当信道带宽为B,信道容量C,S为信号强度,N为噪声强度,C=Bxlog(1 S/N),S/N就是信噪比。如果信噪比很低,信道容量就很低,比如,如果离开WiFi发射器距离20米,信噪比是63:1,在没有任何建筑物阻碍的情况下,我们挪到距离60米远 的地方,信噪比就会下降到7:1,这时候我们就会觉得网速慢了许多。

第二定律划定了通信技术的一个极限,不可逾越。它也指出了增加信道容量的两个途径,一个是增加信噪比,一个是增加频率范围(即带宽)。

香农第三定律,也叫保失真度准则下的有失真信源编码定律,即总能找到一种行之有效的编码方法,让信息的传输率无限接近信道的容量而不出错。如果试图以超越信道容量的传输率来传输信息,那么不论怎么样编码,通信出错的概率都是100%。

香农的三个定律,奠定了信息传输和存储的理论基础,指明了信息产业的发展方向。

《信息传》吴军

,