SVD奇异值分解简析

160 阅读 0 评论 106 点赞

我是靠谱客的博主从容发夹，这篇文章主要介绍SVD奇异值分解简析，现在分享给大家，希望可以做个参考。

Singular Value Decomposition（SVD，奇异值分解）

Full SVD
矩阵 $A_{mn}$ ，其中m和n不一定相等，可以写成：

$A m n = U m m S m n V n n$ $A_{mn}=U_{mm}S_{mn}V_{nn}$
$U_{mm}$ 由 $AA^T$ 的特征向量构成；
$V_{nn}$ 由 $A^TA$ 的特征向量构成；
$AA^T$ 和 $A^TA$ 的非零特征值相同，但特征值对应的特征向量不一定相同；
Reduced SVD
矩阵 $A_{mn}$ ，其中m和n不一定相等，可以写成：

$A m n = U m k S k k V k n$ $A_{mn}=U_{mk}S_{kk}V_{kn}$
$U_{mk}$ 由 $AA^T$ 的前k个特征向量构成；
$V_{kn}$ 由 $A^TA$ 的前k个特征向量构成；
其中，k是可配置项，选取前k个信息量最大的维。可以将一个大矩阵分解成三个小矩阵，降低存储和运算，同时保证信息的损失在可控范围之内。语音识别领域对模型进行low-rank处理就是基于此思想。
SVD的抽象说明
① 进行空间变换，变换后各维信息是独立的，从而更好展示原始数据的区分性；
② 对各维信息的重要程度进行排序，从而根据每维信息的重要程度进行针对性的选择，从而达到数据降维的作用。