(信息熵理论)
在信息论中,主要目标是为一个人(a
从本质上讲,“信息内容”可以看作是信息中有多少有用的信息
gydF4y2Ba的
gydF4y2Ba从本质上讲,“熵”可以被看作是一条信息的有用程度
正式定义(信息)
在我们定义
1)
3)重标记下的不变性:
有几种可能结果的情况可以用A
交流可以被看作是提供关于这个随机变量的信息
gydF4y2Ba最简单的消息类型是指定值的消息
这是一种直观的感觉,因为指定一个发生的高概率事件并不会传递太多的信息(因为它不能解决太多的不确定性——结果是“预期的”),而指定一个发生的低概率事件则会传递大量的信息。的原因
这意味着,从本质上讲,如果情境运行了两次,并且关于两个结果的信息同时传输,那么信息内容将与关于结果的信息分别传输时相同。显然,对数函数满足上述条件,因此定义。
gydF4y2Ba同样值得注意的是,这个定义之所以令人满意,有两个原因:
而且,即使接收到更复杂的消息,此定义仍然有效。例如,在前面传送一个随机数字的结果的例子中,消息“该数字至少是3”有一个
同样值得检查在进一步的消息“the digit is at most 3”上会发生什么:这有一个
因此,这些消息的信息内容合在一起就是
这就是“数字是3”的信息内容。这与信息是独立事件的可加性这一事实相一致,并肯定了对数函数的选择。
正式定义(熵)
的
这来自于重复所涉及的场景
所以每条消息的期望信息量是
gydF4y2Ba有个小问题需要马上指出:在这种情况下
应用程序编码
信息论的一个主要目标是将信息编码为
例如,编码方案
信 | 编码 |
一个 | 0 |
B | 1 |
C | 01 |
是有效的,但有极大的缺陷,因为信息“AB”和信息“C”是无法区分的(两者都以01的形式传递)。相比之下,编码方案
信 | 编码 |
一个 | 00001 |
B | 00111 |
C | 11111 |
是正确的(任何比特流都可以重构为原始消息),但效率非常低,因为可靠地传输消息所需的比特要少得多。
gydF4y2Ba人们很自然地会问什么是“最好的”编码方案,而答案很大程度上取决于应用(例如,在噪声信道上传输会做得很好)
gydF4y2Ba例如,假设一条消息详细描述了一个随机变量的值
一个 | 0.5 |
B | 0.25 |
C | 0.125 |
D | 0.125 |
这个信息的熵是
因此,任何正确编码方案的期望长度至少是
信 | 编码 | 长度 |
一个 | 1 | 1 |
B | 01 | 2 |
C | 001 | 3. |
D | 000 | 3. |
可以验证上面的编码是正确的(它是一个例子
等于信息的熵。
在数据压缩中的应用
编码方案和熵的普遍应用是
gydF4y2Ba本质上,这种数据压缩所做的事情与熵所要衡量的事情是一样的:具有更高可能性的事件所提供的信息内容更少,因此应该用更少的比特进行编码。类似地,数据压缩识别大文件中的固有结构,并用较小的压缩代替更常见的结构。例如
Sam-I-Am !
可以压缩为
1 =帽子
这将从322个字符缩短到186个字符(整个故事将经历更好的压缩)。
另请参阅
参考文献
- 加西亚,E。
文件压缩是如何工作的? .2016年3月16日,从http://qr.ae/RS2Y2m