熵(信息论)
在信息论中,主要目标是一个人(a
从本质上讲,“信息内容”可以看作是消息中有多少有用的信息
gydF4y2Ba的
gydF4y2Ba从本质上讲,“熵”可以被看作是一个消息有多少有用的信息
形式定义(信息)
在定义之前
1)
3)重标下的不变性:
具有几种可能结果的情况可以用
交流可以被看作是给出关于这个随机变量的信息
gydF4y2Ba的值是最简单的消息类型
这很直观,因为指定发生的高概率事件不会传输太多信息(因为它不能解决太多不确定性——结果是“预期的”),而指定发生的低概率事件则传输大量信息。原因是
这意味着,从本质上讲,如果运行两次该情况,并且同时传输有关两个结果的信息,则信息内容将与单独传输有关结果的信息相同。很明显,对数函数满足上述条件,因此定义。
gydF4y2Ba值得注意的是,这个定义之所以令人满意,有两个原因:
而且,即使在接收到更复杂的消息时,这个定义仍然成立。例如,在前面传输随机数字结果的示例中,消息“数字至少是3”有一个
同样值得研究的是,在进一步的消息“数字最多为3”上发生了什么:这有一个
因此,这些消息加在一起的信息内容为
这恰好是消息“数字是3”的信息内容。这与信息是独立事件相加的事实是一致的,并肯定了对数函数的选择。
形式定义(熵)
的
这来自于重复的场景涉及
所以每条消息的预期信息量是
gydF4y2Ba一个值得立即指出的小问题:在这种情况下
编码应用
信息论的一个主要目标是将信息编码为
例如,编码方案
信 | 编码 |
一个 | 0 |
B | 1 |
C | 01 |
是有效的,但有很大的缺陷,因为消息“AB”和消息“C”是不可区分的(两者都将作为01传输)。相比之下,编码方案
信 | 编码 |
一个 | 00001 |
B | 00111 |
C | 11111 |
是正确的(任何比特流都可以被重构为原始消息),但效率极低,因为可靠传输消息所需的比特要少得多。
gydF4y2Ba很自然地要问什么是“最好的”编码方案,虽然答案很大程度上取决于应用程序(例如,在有噪声的信道上传输将很好地采用
gydF4y2Ba例如,假设一条消息详细说明了一个随机变量的值
一个 | 0.5 |
B | 0.25 |
C | 0.125 |
D | 0.125 |
这个信息的熵是
因此,任何正确的编码方案的期望长度至少为
信 | 编码 | 长度 |
一个 | 1 | 1 |
B | 01 | 2 |
C | 001 | 3. |
D | 000 | 3. |
可以验证上述编码是正确的(它是一个例子
它等于信息的熵。
数据压缩的应用
编码方案和熵的普遍应用是为了
gydF4y2Ba从本质上讲,这种数据压缩所做的事情与熵所要测量的事情是一样的:发生可能性更高的事件所提供的信息内容更少,因此应该用更少的比特来编码。类似地,数据压缩识别大文件中的固有结构,并用较小的压缩替换更常见的结构。例如
Sam-I-Am !
可以压缩为
1 =帽子
从322个字符缩短到186个字符(整个故事将经历更好的压缩)。
另请参阅
参考文献
- 加西亚,E。
文件压缩是如何工作的? .检索2016年3月16日,从http://qr.ae/RS2Y2m