信息论

信息论 是运用概率论 与数理统计 的方法研究信息 、信息熵 、通信系统 、数据传输、密码学 、数据压缩 等问题的应用数学学科。

信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理 、信源－信道隔离定理 相互联系。

香农 (Claude Shannon )被称为是“信息论之父”。人们通常将香农于1948年 10月 发表于《贝尔系统技术学报 》上的论文《A Mathematical Theory of Communication 》（通信的数学理论 ）作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特 和拉尔夫·哈特利 先前的成果。在该文中，香农给出了信息熵 （以下简称为“熵”）的定义：

H = -	∑	p i logp i
	i

这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。熵度量的是消息中所含的信息量，其中去除了由消息的固有结构所决定的部分，比如，语言结构的冗余性以及语言中字母、词的使用频度等统计特性。

信息论中熵的概念与物理学中的热力学熵 有着紧密的联系。玻尔兹曼 与吉布斯 在统计物理学中对熵做了很多的工作。信息论中的熵也正是受之启发。

互信息(Mutual Information)是另一有用的信息度量，它是指两个事件集合之间的相关性。两个事件X 和Y 的互信息定义为：

I (X ,Y ) = H (X ) + H (Y ) - H (X ,Y )

其中 H (X ,Y ) 是联合熵(Joint Entropy)，其定义为：

H (X ,Y ) = -	∑	p (x ,y )logp (x ,y )
	x ,y

互信息与多元对数似然比检验 以及皮尔森χ² 校验有着密切的联系。

 

以上转自：http://zh.wikipedia.org/wiki/信息论

 

----

 

google黑板报：数学之美 系列七 -- 信息论在信息处理中的应用

http://www.googlechinablog.com/2006/05/blog-post_25.html

 

----

 

以下转自：http://baike.baidu.com/view/15076.htm

 

四、信息论假说的实例

　　1、思想与记忆：思想是我们一直捉摸不透的东西，而按照信息论假说来讲，思想其实就是一种信 息。大脑中的某些特定分子摩擦碰撞，引起了某些信息子的规则排布，在三维空间中的表现就是产生电流，引起脑细胞的活动，这便是思想的本质，当然，不同信息 表现出不同思想。然而，这不等于我们的思想是早已限定好了的吗？其实就是这样。只不过我们脑中分子数量是庞大的，其能引起信息子的排布形式的种类是极其多 的，我们现在的思想不过也只开发了很少一部分。现实中我们所谓的思想还要有另一个因素，那就是需要通过一个完整复杂的调节机制将其表达出来，这个调节机制 对于人类来说便是神经系统，因此只有我们能将复杂的思想表达出来。记忆是思想的特化，是信息引起摩擦碰撞的分子恰好是以前产生思想的分子（记忆的决子） 时，以前的思想便会再次通过特定信息子的规则排布表达出来。这样看来，我们的思想是连续的，前一刻的思想直接决定了后一刻的思想，只是我们并没发觉也没有 手段去发现罢了。
　　2、生命现象：人的生老病死也可以通过信息论假说来解释。人生病其实是不融合分子（细菌或病 毒）与体内分子摩擦引起的信息。成长其实是各种各样的外界分子（如钙离子）进入人体内与体内分子摩擦引起的信息。衰老与死亡是细胞内分子摩擦引起的信息， 其宏观表现为细胞的衰老与凋亡，进而影响人。
　　3、预感与巧合：预感是思想的一种极特殊的形式，当脑中某些分子摩擦引起信息子排布后，信息并 未释放全部能量，而是只将其中一部分能量先释放出来，引起预感决子的摩擦，剩下的能量则在另外的时刻释放出来，并由于与前一部分能量同源，恰好引起事件决 子的摩擦，从而印证了预感。巧合也是一种极特殊的现象，其本质是信息释放的能量分为两半进入到三维空间中的不同地点，引发相同分子的摩擦，从而引起不同地 点相同事情的发生，这一般出现在同卵双胞胎身上，因为其基因的相似性决定了其相同分子摩擦的几率较大。
　　4、梦与不实印象（untrue impressions）：梦是在无意识情况下产生的思想，其本质也是信息。我们平时会产生不实印象，看到某情景感觉以前似乎发生过，可是以前却并没有发 生，其实这是因为脑内分子摩擦引起信息，而信息并没有将能量马上释放出来，而是暂时储存起来，当另一时刻又有同样的分子摩擦时，其能量被激活，双倍能量释 放出来，其中一半能量使我们思想，另一半能量使我们产生印象，这便是不实印象的本质。
　　5、化学反应：一切化学反应的本质都是信息。几种分子摩擦引起特定信息，又引起其他分子摩擦，在摩擦中化学键断裂与形成，完成化学反应。
　　6、命运与灵魂：古人相信命运，可能是冥冥之中感到在另一空间中我们是早已被安排好的个体，于是出现了人类对灵魂、神的遐想。

 

　　五、信息论假说的意义
　　信息论假说将物质与思想相统一，它是唯物主义发展所必经的一步，它用唯物的观点解释了人类一直 无法弄清的问题。它自身只是一个假说，需要人类长时间去探索与证明，它自身也存在缺陷，需要人类的不断发现。也许它本来就是个错误，但它是人类成长的见 证，是人类伟大的精神财富。
　　用信息论假说的观点看问题，可以使人类认识到一个全新的世界，并有助于探索世界更深的本质。它给人类提供了一个丰富的经验，是人类跳出固有思想看问题的典范。总之，不管它是否正确，它都是人类的不朽之作。