MindMap Gallery 信息论 第二章 信息的度量思维导图
信息论 第二章 信息的度量 思维导图,包含自信息和互信息、平均自信息、平均互信息等。希望对你有所帮助!
第二章 信息的度量
自信息和互信息
自信息
事件发生前,事件发生的不确定性。
事件发生后,事件所包含的信息量。
先验概率
后验概率
互信息
定义
一个事件给出关于另一个事件的信息
含义
表示事件yj 出现前后关于事件 xi 的不确定性减少的量;
事件 yj 出现以后信宿获得的关于事件 xi 的信息量。
收到 yj 前和收到 yj 后不确定度被消除的部分。
性质
对称性
可正可负可零
任何两个事件之间的互信息不可能大于其中任一事件的自信息
平均自信息
信息熵/信源熵/香农熵/无条件熵/熵函数/熵
平均自信息的概念
熵函数的性质
对称性 信源分布相同即可
确定性 必然事件熵为零
非负性 离散信源的熵非负,离散信源的熵可能为负
扩展性 增加一个概率接近于零的事件,信源熵保持不变
连续性 概率分量的微小波动,不会引起熵的变化
递增性 如果信源中某个元素又被分为m个元素, 则新信源的熵会增加一项, 即由于又划分 产生的不确定性。
极值性 离散无记忆信源输出n个不同的信息符号,当且仅当各个符号出现概率相等时,熵最大
上凸性 函数的均值≤均值的函数
联合熵与条件熵
联合熵 表示对于二维随机变量的平均不确定性。
条件熵 条件熵表示已知一个随机变量时,对另一个随机变量的平均不确定性。
平均互信息
平均互信息的概念
平均互信息的性质
I(X;Y)=I(Y;X)
非负性
I(X;Y)≥0
极值性
I(X;Y) ≤ min{H(X),H(Y)}
与各类熵的关系
I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X) H(Y)-H(XY)