Web 技术研究所

我一直坚信着,Web 将会成为未来应用程序的主流

信息量与信息熵的概念

  不知道大家有没有看过《龙珠》,龙珠里对战斗力的计算实在是非常让人蛋疼,以指数增长的战斗力,动个手指就能毁灭一个地球那么厉害。战斗力增长的那么快,让我们不会对战斗力怎加多少倍而感到惊讶,真正影响我们感觉的实际上是战斗力的位数。

  拉蒂兹来到地球的时候,遇到一个拿枪的农民,说他只有5的战斗力,我们得到了这个信息。然后当我们得悟空有330的战斗力的信息时就觉得“哇,好厉害”。这是因为330比5多了很多吧。后来,贝吉塔来地球的时候悟空的战斗力有5000,这又让我们吃了一惊。后来到了那美克星上,悟空的战斗力达到了60000,我们又惊了一下。可是你会发现,战斗力从个位到百位再到千位以至于到万位,我们的吃惊程度都是差不多的。
  信息量等于信息数的对数,而这个吃惊程度就是每次信息量的增量。由于我们每次观察时,战斗力总是根据观察的序数按照指数增长的,而信息量恰好是对数计算的。把指数函数和对数函数嵌套在一起的话就会得到一个一次函数,这个就是信息量函数(为了方便计算,这里的log以10为底)。通过计算,我们可以得到“信息量函数=观察序数”,而吃惊程度是每次的增量,也就是这个函数的导数。这个函数是个一次函数,它的导数是常数方程。那么吃惊度就恒等于一个常数。这里通过简单的计算,吃惊度就差不多恒等于1。所以我们每次得到这些战斗力数据时吃惊程度都是差不多的。 假如:
战斗力函数=10^观察序数
那么:
信息量函数=log(战斗力函数)=观察序数
吃惊度函数=信息量函数'=1
吃惊度≡1
  信息量的单位与信息量函数有关,我们上面为了计算方便使用了以10是底的log,实际上很少会使用以10为底log。最常用的是以2为底的,这是的单位就是比特。有时候为了方便微分也会用e为底,这时候的单位是纳特。其实上面的例子对惊讶程度的计算只是非常初略的,如果要计算精确需要应入泊松分布等一大堆东西,还要考虑很多因素。不过只是说信息量的概念,这个就足够了。
  信息量函数本身就是关于信息出现概率的函数了,对于整个系统的概率函数取平均值自然就可以得到熵值。也就是信息量函数在自己定义域上的平均值。 信息熵=avg(信息量函数)   信息熵描述的也就是这个事件的混乱程度,或者说不确定性。   

参考:   http://zh.wikipedia.org/wiki/%E7%86%B5_(%E4%BF%A1%E6%81%AF%E8%AE%BA)   http://www.matrix67.com/blog/?s=%E4%BF%A1%E6%81%AF%E7%86%B5
网名:
54.226.58.*
电子邮箱:
仅用于接收通知
提交 悄悄的告诉你,Ctrl+Enter 可以提交哦
神奇海螺
[查看全部主题]
各类Web技术问题讨论区
发起新主题
本模块采用即时聊天邮件通知的模式
让钛合金F5成为历史吧!
次碳酸钴的技术博客,文章原创,转载请保留原文链接 ^_^