Karhunen-Loeve Transform (KLT)

urey

浏览: 26434 次
性别:
来自: 广州

最近访客更多访客>>

woodding2008

博主相关

博客

微博

相册

留言

关于我

文章分类

社区版块

存档分类

博客分类：

有啥说啥

HTML

Karhunen-Loeve Transform (KLT)

source：http://fourier.eng.hmc.edu/e161/lectures/klt/node3.html

${\bf\phi}_k$ 是与协方差矩阵 ${\bf\Sigma}_x$ 与第k 个特征值一致的特征向量，有：

$\begin{displaymath} {\bf\Sigma}_x {\bf\phi}_k=\lambda_k{\bf\phi}_k\;\;\;\;\;\;(k=0,\cdots,N-1) \end{displaymath}$

或以矩阵的形式：

$\begin{displaymath}\left[ \begin{array}{ccc}\cdots &\cdots &\cdots \\ \cdots & ... ...phi}_k \end{array} \right] \;\;\;\;\;\;(k=0,\cdots,N-1) \end{displaymath}$

协方差矩阵是对称矩阵，有 ${\bf\Sigma}_x={\bf\Sigma}_x^T$ （若 ${\bf x}$ 是复数则共轭对称），他的特征向量是正交的，有：

$\begin{displaymath}( {\bf\phi}_i,{\bf\phi}_j)={\bf\phi}^T_i {\bf\phi}_j=\left\{ \begin{array}{ll} 1 & i=j 0 & i\ne j \end{array} \right. \end{displaymath}$

我们可以构造 $N \times N$ 正交（酉）矩阵 ${\bf\Phi}$ ：

$\begin{displaymath} {\bf\Phi}\stackrel{\triangle}{=}[{\bf\phi}_0, \cdots,{\bf\phi}_{N-1}] \end{displaymath}$

满足：

$\begin{displaymath}{\bf\Phi}^{T} {\bf\Phi} = {\bf I},\;\;\;\;\mbox{i.e.,}\;\;\;\; {\bf\Phi}^{-1}={\bf\Phi}^{T} \end{displaymath}$

以上N 个特征方程可能联合表达为：

$\begin{displaymath}{\bf\Sigma}_x{\bf\Phi}={\bf\Phi}{\bf\Lambda} \end{displaymath}$

矩阵形式为：

${\bf\Lambda}$ 是一个对角矩阵 ${\bf\Lambda}=diag(\lambda_0, \cdots, \lambda_{N-1} )$ 。两边左乘 ${\bf\Phi}^T={\bf\Phi}^{-1}$ ，协方差矩阵 ${\bf\Sigma}_x$ 则对角化为：

$\begin{displaymath}{\bf\Phi}^T{\bf\Sigma}_x{\bf\Phi}={\bf\Phi}^{-1} {\bf\Sigma}_x {\bf\Phi} = {\bf\Phi}^{-1}{\bf\Phi}{\bf\Lambda}={\bf\Lambda} \end{displaymath}$

向量 ${\bf x}$ ，定义 ${\bf x}$ 的正交（若 ${\bf x}$ 为复数则为酉）K-L 变换为：

$\begin{displaymath}{\bf y}=\left[ \begin{array}{l} y_0\ y_1 \ \vdots \ y_{N-1... ...\phi^T_1 \ \vdots \ \phi^T_{N-1} \end{array} \right] {\bf x} \end{displaymath}$

转换向量的第i 行是 ${\bf x}$ 到 ${\bf\phi_i}$ 的映射：

$\begin{displaymath}y_i=({\bf\phi}_i,{\bf x})={\bf\phi}_i^T{\bf x} \end{displaymath}$

在 ${\bf y}={\bf\Phi}T {\bf x}$ 两边同乘 ${\bf\Phi}=({\bf\Phi}^T)^{-1}$ ，我们得到逆变换：

$\begin{displaymath} {\bf x}={\bf\Phi} {\bf y}=[ {\bf\phi}_0, {\bf\phi}_1, \cdots... ...ts \ y_{N-1} \end{array} \right] =\sum_{i=0}^{N-1} y_i \phi_i \end{displaymath}$