信息论热门博客列表 - ITeye博客频道

博客专栏推荐

本月博客排行

年度博客排行

自然语言处理--信息模型

今天拜读了数学之美的第一章，例举的例子感觉真是浅显易懂，这里不禁要对吴军老师的写作功底拜服，下面谈谈对信息模型的理解，数字、文字和语言作为信息的载体，他们的目的都是记录和传播信息，就像我们的老祖先一样乌拉乌拉几句，对方就明白了，你丫的骂我，拿起石头就扔过去了，其实他们的这种交流可以概括为信息1--编码（也就是怪叫）---信息2（听到的声音）-----解码----信息1（得到原始信息），其实这 ...

数学之美信息论通信原理 mahout

davidxiaozhi 评论(0) 有1170人浏览 2013-02-01 09:45

信息论学习总结（一）基础知识

我们考虑一下一个离散的随机变量x,当我们观察到它的一个值，能给我们带来多少信息呢？这个信息量可以看做是我们观察到x的这个值带来的惊讶程度。我们被告知一个不太可能发生的事发生了要比告知一个非常可能发生的事发生，我们获得信息要多。所以信息量的多少依赖于概率分布p(x)，所以我们可以用关于p(x)的一个函数来建模信息量h(x).那什么函数模型适合表达呢？我们观察两个相互独立的事件x，y，我们观察它得到 ...