多元正态（高斯）分布

1、本文只在实数域上讨论。
2、正态分布又称高斯分布，以下均使用正态分布。
3、编辑器不支持在公式内部加粗，向量或者矩阵在第一次出现时会以 $x\in\mathbb{R}^d$ 方式说明。

一元正态分布

首先我们回顾一下一元正态分布 $N(\mu,\sigma^2),\mu\in\mathbb{R},\sigma^2\in\mathbb{R}^+$ 的相关知识。

概率密度函数：$$f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$$

如果实随机变量 $X$ 服从一元正态分布 $N(\mu,\sigma^2)$，则：

期望：$$\mathrm{E}[X]=\mu$$
方差：$$\mathrm{D}[X]=var(X)=\sigma^2$$

多元正态分布

对应着，多元正态分布 $\mathcal{N}(\mu,\Sigma)$ 也由两个参数确定，向量 $\mu\in\mathbb{R}^n$ 与矩阵 $\Sigma\in\mathbb{R}^{n\times n}$，其中矩阵 $\Sigma$ 需要满足对称且半正定。

多元正态分布的概率密度函数与一元情况下类似，下文中 $x$ 为向量。

概率密度函数：$$f(x)=\frac{1}{(2\pi)^{n/2}|\Sigma|^{1/2}}e^{-\frac{1}{2}(x-\mu)^\top\Sigma^{-1}(x-\mu)},|\Sigma|=\det(\Sigma)$$

如果 $n$ 维实随机变量 $X$ 服从多元正态分布 $\mathcal{N}(\mu,\Sigma)$，则：

期望向量：$$\mathrm{E}[X]=\mu$$

协方差矩阵：$$\begin{align}\mathrm{Cov}(X)&=\mathrm{E}[(X-\mathrm{E}(X))((X-\mathrm{E}(X))^\top]\\&=\mathrm{E}(XX^\top)-(\mathrm{E}(X))(\mathrm{E}(X))^\top\\&=\Sigma\end{align}$$

二元正态分布

给出二元情况下的相关公式，给出二维实随机变量 $(X,Y)^\top$，其中相关系数 $\rho=\frac{\mathrm{Cov}(X,Y)}{\sigma_X\sigma_Y}.$

概率密度函数：$$f(x,y)=\frac{1}{2\pi\sigma_X\sigma_Y\sqrt{1-\rho^2}}e^{-\frac{1}{2(1-\rho^2)}\left[\frac{(x-\mu_X)^2}{\sigma_X^2}+\frac{(y-\mu_Y)^2}{\sigma_Y^2}-\frac{2\rho(x-\mu_X)(y-\mu_Y)}{\sigma_X\sigma_Y}\right]}$$

期望：$$\mathrm{E}[X]=\mu_X$$$$\mathrm{E}[Y]=\mu_Y$$$$\mathrm{E}[(X,Y)^\top]=(\mu_X,\mu_Y)^\top$$

(协)方差：$$\mathrm{D}[X]=var(X)=\sigma_X^2$$$$\mathrm{D}[Y]=var(Y)=\sigma_Y^2$$$$\mathrm{Cov}((X,Y)^\top)=\Sigma=\begin{pmatrix} \sigma_X^2 & \rho\sigma_X\sigma_Y \\ \rho\sigma_X\sigma_Y & \sigma^2_Y \end{pmatrix}$$