互信息

互信息的含义

互信息与多元对数似然比检验以及皮尔森 校验有着密切的联系。 信息是物质、能量、信息及其属性的标示。逆维纳信息定义信息是确定性的增加。逆香农信息定义信息是事物现象及其属性标识的集合。 信息论中的互信息一般而言，信道中总是存在着噪声和干扰，信源发出消息x，通过信道后信宿只可能收到由于干扰作用引起的某种变形的y。信宿收到y后推测信源发出x的概率，这一过程可由后验概率p(x|y)来描述。相应地，信源发出x的概率p(x)称为先验概率。我们定义x的后验概率与先验概率比值的对数为y对x的互信息量（简称互信息）。 根据熵的连锁规则，有因此，这个差叫做X和Y的互信息，记作I(X;Y)。按照熵的定义展开可以得到：

互信息(Mutual Information)

互信息（Mutual Information） - gatherstars - 博客园 (cnblogs.com)

在概率论和信息论中，两个随机变量的互信息（Mutual Information，简称MI）或转移信息（transinformation）是变量间相互依赖性的量度。不同于相关系数，互信息并不局限于实值随机变量，它更加一般且决定着联合分布 p(X,Y) 和分解的边缘分布的乘积 p(X)p(Y) 的相似程度。互信息(Mutual Information)是度量两个事件集合之间的相关性(mutual dependence)。互信息是点间互信息（PMI）的期望值。互信息最常用的单位是bit。

信息论基础 学习笔记（1） - 知乎 (zhihu.com)

互信息(mutual information) 是信息论中最重要的概念之一。它的对象是两个随机变量。互信息就是指这两个随机变量包括对方的信息的量。举个例子：X指性别，男生还是女生；Y指头发长度，长头发还是短头发。这一个有一个人，Ta是长头发，那Ta是女生的概率就更大。同理，Ta是男生，那么Ta拥有短头发的概率就更大。可以看出，头发长短暗含了一定的性别信息。那么暗含的信息量有多少呢？就是互信息。我们可以如下定义互信息：

互信息(Mutual Information)浅尝辄止（一）：基础概念 - 知乎 (zhihu.com)
互信息是信息论中用以评价两个随机变量之间的依赖程度的一个度量。
举个例子：x=今天下雨与y=今天阴天，显然在已知y的情况下, 发生x的概率会更大

其中是观察到的变量分布，q是我们找到的一个尽量分布。是一个非对称的度量，这里我们希望对于较大概率出现的时，近似值和实际分布的信息量差异应该有个较大权重。