多变量高斯分布(multivariate Gaussian distribution)的形式如下:

其中, 是D维 mean vector, 是 协方差矩阵, 里面的第 i 行第 j 列元素表示第 i 个变量第 j 个变量的协方差 , 代表协方差矩阵的行列式。

二维高斯分布的图如下所示(来自wikipedia),它的每一个维度都是高斯分布:

高斯分布详解(搞懂多变量高斯分布的由来)(1)

本文主要就是讲式(1)的由来。

前置知识:雅可比矩阵和雅可比行列式

设 是一个函数,它的输入是向量 ,输出是向量 :

那么 雅可比矩阵 是一个m×n矩阵:

由于矩阵描述了向量空间中的运动——变换,而雅可比矩阵看作是将点 转化到点 ,或者说是从一个n维的欧式空间转换到m维的欧氏空间。

如果m = n, 可以定义雅可比矩阵 的行列式,也就是 雅可比行列式(Jacobian determinant)

在微积分换元中,也就是给出了 从x到y的n维体积的比率,

二维雅可比矩阵的几何意义

在二维情况(有直观的图),雅可比行列式代表xy平面上的面积微元与uv平面上的面积微元的比值。

雅可比行列式是:

高斯分布详解(搞懂多变量高斯分布的由来)(2)

如图所示:dA代表dx和dy张成的平行四边形的面积,如果du和dv充分接近于0,那么dA:

二重积分换元:

n维度情况以此类推。

多变量高斯分布

首先考虑 单变量标准正态分布 ,概率密度函数为:

然后考虑 n 维独立标准高斯分布,就是 n 个 独立的 一维标准正态分布随机变量的联合分布:

为了表达方便,用向量的形式来表示,设 ,式(3)写作:

一般的,设 由 的线性变换得到:

其中A是 的 非奇异矩阵 , 是n维向量

可把 用 表示:

注意到, 式(6)线性变换的雅可比行列式 是 ,因此:

设 ,则 ,由联合概率分布密度的定义,有:

因此,向量 的联合概率概率密度函数是:

也就得到式(1)

可以看出:多变量高斯分布是单变量高斯分布向多维的推广。

,