MindMap Gallery 信息论 第二章 信息的度量思维导图
信息论 第二章 信息的度量 思维导图,包含自信息和互信息、平均自信息、平均互信息等。希望对你有所帮助!
Edited at 2023-11-05 11:48:01Einhundert Jahre Einsamkeit ist das Meisterwerk von Gabriel Garcia Marquez. Die Lektüre dieses Buches beginnt mit der Klärung der Beziehungen zwischen den Figuren. Im Mittelpunkt steht die Familie Buendía, deren Wohlstand und Niedergang, interne Beziehungen und politische Kämpfe, Selbstvermischung und Wiedergeburt im Laufe von hundert Jahren erzählt werden.
Einhundert Jahre Einsamkeit ist das Meisterwerk von Gabriel Garcia Marquez. Die Lektüre dieses Buches beginnt mit der Klärung der Beziehungen zwischen den Figuren. Im Mittelpunkt steht die Familie Buendía, deren Wohlstand und Niedergang, interne Beziehungen und politische Kämpfe, Selbstvermischung und Wiedergeburt im Laufe von hundert Jahren erzählt werden.
Projektmanagement ist der Prozess der Anwendung von Fachwissen, Fähigkeiten, Werkzeugen und Methoden auf die Projektaktivitäten, so dass das Projekt die festgelegten Anforderungen und Erwartungen im Rahmen der begrenzten Ressourcen erreichen oder übertreffen kann. Dieses Diagramm bietet einen umfassenden Überblick über die 8 Komponenten des Projektmanagementprozesses und kann als generische Vorlage verwendet werden.
Einhundert Jahre Einsamkeit ist das Meisterwerk von Gabriel Garcia Marquez. Die Lektüre dieses Buches beginnt mit der Klärung der Beziehungen zwischen den Figuren. Im Mittelpunkt steht die Familie Buendía, deren Wohlstand und Niedergang, interne Beziehungen und politische Kämpfe, Selbstvermischung und Wiedergeburt im Laufe von hundert Jahren erzählt werden.
Einhundert Jahre Einsamkeit ist das Meisterwerk von Gabriel Garcia Marquez. Die Lektüre dieses Buches beginnt mit der Klärung der Beziehungen zwischen den Figuren. Im Mittelpunkt steht die Familie Buendía, deren Wohlstand und Niedergang, interne Beziehungen und politische Kämpfe, Selbstvermischung und Wiedergeburt im Laufe von hundert Jahren erzählt werden.
Projektmanagement ist der Prozess der Anwendung von Fachwissen, Fähigkeiten, Werkzeugen und Methoden auf die Projektaktivitäten, so dass das Projekt die festgelegten Anforderungen und Erwartungen im Rahmen der begrenzten Ressourcen erreichen oder übertreffen kann. Dieses Diagramm bietet einen umfassenden Überblick über die 8 Komponenten des Projektmanagementprozesses und kann als generische Vorlage verwendet werden.
第二章 信息的度量
自信息和互信息
自信息
事件发生前,事件发生的不确定性。
事件发生后,事件所包含的信息量。
先验概率
后验概率
互信息
定义
一个事件给出关于另一个事件的信息
含义
表示事件yj 出现前后关于事件 xi 的不确定性减少的量;
事件 yj 出现以后信宿获得的关于事件 xi 的信息量。
收到 yj 前和收到 yj 后不确定度被消除的部分。
性质
对称性
可正可负可零
任何两个事件之间的互信息不可能大于其中任一事件的自信息
平均自信息
信息熵/信源熵/香农熵/无条件熵/熵函数/熵
平均自信息的概念
熵函数的性质
对称性 信源分布相同即可
确定性 必然事件熵为零
非负性 离散信源的熵非负,离散信源的熵可能为负
扩展性 增加一个概率接近于零的事件,信源熵保持不变
连续性 概率分量的微小波动,不会引起熵的变化
递增性 如果信源中某个元素又被分为m个元素, 则新信源的熵会增加一项, 即由于又划分 产生的不确定性。
极值性 离散无记忆信源输出n个不同的信息符号,当且仅当各个符号出现概率相等时,熵最大
上凸性 函数的均值≤均值的函数
联合熵与条件熵
联合熵 表示对于二维随机变量的平均不确定性。
条件熵 条件熵表示已知一个随机变量时,对另一个随机变量的平均不确定性。
平均互信息
平均互信息的概念
平均互信息的性质
性质
对称性
I(X;Y)=I(Y;X)
非负性
I(X;Y)≥0
极值性
I(X;Y) ≤ min{H(X),H(Y)}
与各类熵的关系
I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X) H(Y)-H(XY)