瑞利商（Rayleigh quotient）与广义瑞利商（genralized Rayleigh quotient）

最近在学习LDA，公式推导中很重要的部分就是瑞利商和广义瑞利商。

瑞利商定义

瑞利商函数是指这样的函数𝑅(𝐴,𝑥)
$$R(A,x) = \cfrac{x^{H}Ax}{x^{H}x}$$
其中𝐴为$𝑛×𝑛$的Hermitan矩阵。Hermitan矩阵，就是满足共轭转置矩阵和自己相等的矩阵，$A^{H}=𝐴$。$X^{H}$是$X$的共轭转置矩阵。

共轭转置矩阵
矩阵有实数矩阵和复数矩阵。
转置矩阵仅仅是将矩阵的行与列对换
共轭转置矩阵在将行与列对换后还要讲每个元素共轭一下。
共轭就是将形如a+bi的数变成a-bi，实数的共轭是它本身。
所以，实数矩阵的共轭转置矩阵就是转置矩阵，复数矩阵的共轭转置矩阵就是上面所说的行列互换后每个元素取共轭

瑞利商的性质

瑞利商𝑅(𝐴,𝑥)有一个非常重要的性质，即它的最大值等于矩阵𝐴最大的特征值，而最小值等于矩阵𝐴的最小的特征值，也就是满足
$$\lambda_{min} \leq \cfrac{x^{H}Ax}{x^{H}x} \leq \lambda_{max}$$
当向量𝑥是标准正交基时，即满足$x^{H}x=1$时，瑞利商退化为：$𝑅(𝐴,𝑥)=x^{H}Ax$，这个形式在谱聚类和PCA中都有出现。

广义瑞利商

广义瑞利商是指这样的函数$𝑅(𝐴,𝐵,𝑥)$:
$$R(A,B,x) = \cfrac{x^{H}Ax}{x^{H}Bx}$$
其中𝑥为非零向量，而𝐴,𝐵为$𝑛×𝑛$的Hermitan矩阵。𝐵为正定矩阵。

正定矩阵
正定和半正定这两个词的英文分别是positive definite和positive semi-definite，其中，definite是一个形容词，表示“明确的、确定的”等意思。

【定义】（狭义定义）给定一个大小为 $𝑛×𝑛$ 的实对称矩阵$A$，若对于任意长度为$n$的非零向量$x$，有 $x^{T}Ax >= 0$ 恒成立，则矩阵$A$是一个正定矩阵。
单位矩阵是正定矩阵 (positive definite)。

半正定矩阵
【定义2】（狭义定义）给定一个大小为 [公式] 的实对称矩阵 [公式] ，若对于任意长度为$n$的向量$x$，有 $x^{T}Ax > 0$恒成立，则矩阵$A$是一个半正定矩阵。

它的最大值和最小值是什么呢？其实我们只要通过将其通过标准化就可以转化为瑞利商的格式。我们令$𝑥=𝐵^{−1/2}𝑥^{′}$,（$𝑥^{′}$是新定义的一个向量，待求值）则分母转化为：

$x^HBx$
$= x'^H(B^{-1/2})^HBB^{-1/2}x' $
$= x'^HB^{-1/2}BB^{-1/2}x' = x'^Hx'$
其中$(B^{-1/2})^H$，由于$(B^{-1/2})^H=(B^{H})^{-1/2}$且$B$是Hermitan矩阵，所以$(B^{-1/2})^H=B^{-1/2}$；$B^{-1/2}BB^{-1/2}=B^{-1/2}B^{-1/2}B=B^{-1}B=1$

而分子转化为：

$x^HAx =  x'^HB^{-1/2}AB^{-1/2}x'$

此时我们的$𝑅(𝐴,𝐵,𝑥)$转化为$𝑅(𝐴,𝐵,𝑥^{′})$:

$$R(A,B,x') = \cfrac{x'^HB^{-1/2}AB^{-1/2}x'}{x'^Hx'}$$

利用前面的瑞利商的性质，我们可以很快的知道，$𝑅(𝐴,𝐵,𝑥^{′})$的最大值为矩阵$B^{-1/2}AB^{-1/2}$的最大特征值。
由于方阵的特征值等于方阵转置的特征值，所以$B^{-1/2}AB^{-1/2}$的特征值等于 $(B^{-1/2}AB^{-1/2})^{T}$的特征值。

$(B^{-1/2}AB^{-1/2})^{T}=(B^{-1/2})^{T}(AB^{-1/2})^{T}=B^{-1/2}(B^{-1/2})^{T}A^{T}=B^{-1/2}B^{-1/2}A=B^{-1}A$

所以$𝑅(𝐴,𝐵,𝑥^{′})$的最大值为矩阵$B^{-1}A$的最大特征值，而最小值为矩阵$B^{-1}A$的最小特征值。

瑞利商与极值计算