机器学习入门14--降维

本系列博客基于温州大学黄海广博士的机器学习课程的笔记，小伙伴们想更详细学习黄博士课程请移步到黄博士的Github、或者机器学习初学者公众号，现在在中国慕课也是可以学习的，内容包括机器学习、深度学习及Python编程，matplotlib、numpy、pandas、sklearn等，资料很详细，要系统学习请移步哦！笔者的博客只是笔记，内容不会十分详细，甚至会有些少错误！

1.降维概述

• 维数灾难：在机器学习建模过程中，随着特征数量的增多，计算量会剧增，变得很大，维度太大导致机器学习性能下降，模型的性能随着特征的增加先上升后下降；

• 降维定义：降维(Dimensionality Reduction)，将训练数据中的样本从高维空间转换到低维空间，但不存在完全无损的降维；

• 降维的意义：

  1. 高维数据增加了运算难度；
  2. 高维使得学习算法的泛化额能力变弱，维度越高，算法的搜索难度和成本越大；
  3. 降维增加数据可读性，有利于发掘数据有意义的结构；

• 降维的作用：

  1. 减少冗余特征，降低数据维度；
     假设有两个特征：
     $x_1$：身高(单位：厘米)；
     $x_2$：身高(单位：英寸)；
     可以用一个特征表示身高即可；
  2. 数据可视化；
     $t-distributedStochasticNeighborEmbedding(t-SNE)$：将数据点之间的相似度转换为概率；

• 降维的优缺点：

• 优点：

  1. 通过减少特征的维数，数据集存储所需的空间相应减少，减少了特征维数所需的计算训练时间；
  2. 数据集特征的降维有助于快速可视化数据；
  3. 通过处理多重共线性消除冗余特征；

• 缺点：

  1. 降维可能会丢失一些数据；
  2. 在主成分分析(PCA)降维技术中，有时需要考虑多少主成分是难以确定的；
     

2.SVD(奇异值分解)

2.1 奇异值分解

• 奇异值分解$(SingularValueDecomposition,SVD)$；
• SVD可以将一个矩阵$A$分解成三个矩阵的乘积：
  1. 一个正交矩阵$U(orthogonalmatrix)$;
  2. 一个对角矩阵$\Sigma (diagonalmatrix)$;
  3. 一个正交矩阵$V$的转置;

2.2 SVD详解

1. 假设矩阵$A$是一个$m\times n$的矩阵，通过$SVD$对矩阵进行分解，$SVD$定义如下：
   $$A=U\Sigma V^T$$
   

2. 符号定义
   $$A=U\Sigma V^T=u_1{\sigma }_1{v}_1^T+\cdots +u_r{\sigma }_r{v}_r^T$$
   $$\begin{gathered} 其中： \\ U：一个m\times m的矩阵；每个特征向量u_i称为A的左奇异向量； \\ \Sigma ：一个m\times n的矩阵；除了主对角线上的元素以外全为0，主对角线上的每个元素都称为奇异值\sigma ； \\ V：一个n\times n的矩阵，每个特征向量v_i称为A的右奇异向量； \\ U和V都是酉矩阵，即满足：U^{T}U=I，V^{T}V=I； \\ r：矩阵A的秩； \end{gathered}$$

3. SVD求解1：U矩阵求解
   $$\begin{gathered} 方阵A{A}^T为m\times m的一个方阵，可以进行特征分解，得到的特征值和特征向量满足式子：(A{A}^T)u_i={\lambda }_i{u}_i \\ 得到矩阵A{A}^T的m个特征值和对应的m个特征向量u； \\ 将A{A}^T的所有特征向量组成一个m\times m的矩阵U，即SVD中的U矩阵； \\ U矩阵中的每个特征向量叫做A的左奇异向量； \end{gathered}$$

4. SVD求解2：V矩阵求解
   $$\begin{gathered} 将A的转置和A做矩阵乘法，得到一个n\times n的一个方阵A^{T}A； \\ 特征分解，得到特征值和特征向量满足：(A^{T}A)v_i={\lambda }_i{v}_i； \\ 得到矩阵A^{T}A的n个特征值和对应的n个特征向量v； \\ 将A^{T}A的所有特征向量组成一个n\times n的矩阵V，即SVD中V矩阵； \\ V矩阵中的每个特征向量叫做A的右奇异向量； \end{gathered}$$

5. SVD求解3：$\Sigma$矩阵求解
   $$\begin{gathered} 特征值矩阵等于奇异值矩阵的平方，即特征值和奇异值满足：{\sigma }_i=\sqrt{{\lambda }_i}； \\ 可以通过A^{T}A的特征值取平方根求解奇异值； \\ 由A=U\Sigma V^T，则有：AV=U\Sigma V^{T}V； \\ 因：V^{T}V=I，则有：AV=U\Sigma ； \\ 有：A{v}_i={\sigma }_i{u}_i，{\sigma }_i=A{v}_i/u_i \end{gathered}$$

2.3 SVD计算案例

1. 实例背景
   $设矩阵A定义：A=\left[\begin{array}{cc}3& 0\\ 4& 5\end{array}\right]，则有A的秩r=2$；

2. 求$A^{T}A和A{A}^T$
   $$A^{T}A=\left[\begin{array}{cc}3& 4\\ 0& 5\end{array}\right]\left[\begin{array}{cc}3& 0\\ 4& 5\end{array}\right]=\left[\begin{array}{cc}25& 20\\ 20& 25\end{array}\right]；A{A}^T=\left[\begin{array}{cc}3& 0\\ 4& 5\end{array}\right]\left[\begin{array}{cc}3& 4\\ 0& 5\end{array}\right]=\left[\begin{array}{cc}9& 12\\ 12& 41\end{array}\right]$$

3. 计算$A^{T}A$的特征值和特征向量
   $$\left|\begin{array}{cc}25-\lambda & 20\\ 20& 25-\lambda \end{array}\right|=(25-\lambda {)}^2-400=(\lambda -45)(\lambda -5)=0$$
   $解得：{\lambda }_1=45，{\lambda }_2=5$
   $由{\sigma }_i=\sqrt{{\lambda }_i}，得到奇异值：{\sigma }_1=\sqrt{45}，{\sigma }_2=\sqrt{5}$

4. 计算$A{A}^T$的特征值和特征向量
   $$求得：{\lambda }_1=45，{\lambda }_2=5；v_1=\left[\begin{array}{c}\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right]；v_2=\left[\begin{array}{c}-\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right]$$

5. 求奇异值
   $利用A{v}_i={\sigma }_i{u}_i,i=1,2，求奇异值：$
   $$A{v}_1=\left[\begin{array}{c}\frac{3}{\sqrt{2}}\\ \frac{9}{\sqrt{2}}\end{array}\right]=\sqrt{45}\left[\begin{array}{c}\frac{1}{\sqrt{10}}\\ \frac{3}{\sqrt{10}}\end{array}\right]={\sigma }_1{u}_1；A{v}_2=\left[\begin{array}{c}-\frac{3}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right]=\sqrt{5}\left[\begin{array}{c}-\frac{3}{\sqrt{10}}\\ \frac{1}{\sqrt{10}}\end{array}\right]={\sigma }_2{u}_2$$

6. 奇异值分解结果
   $$\begin{array}{rl}& U=\left[\begin{array}{cc}\frac{1}{\sqrt{10}}& -\frac{3}{\sqrt{10}}\\ \frac{3}{\sqrt{10}}& \frac{1}{\sqrt{10}}\end{array}\right]；\Sigma =\left[\begin{array}{cc}\sqrt{45}& 0\\ 0& \sqrt{5}\end{array}\right]；V=\left[\begin{array}{cc}\frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right]\\ & A=U\Sigma V^T=\left[\begin{array}{cc}\frac{1}{\sqrt{10}}& -\frac{3}{\sqrt{10}}\\ \frac{3}{\sqrt{10}}& \frac{1}{\sqrt{10}}\end{array}\right]\left[\begin{array}{cc}\sqrt{45}& 0\\ 0& \sqrt{5}\end{array}\right]{\left[\begin{array}{cc}\frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right]}^T=\left[\begin{array}{cc}3& 0\\ 4& 5\end{array}\right]\end{array}$$

2.4 奇异值分解近似

• SVD分解将一个矩阵进行分解，对角矩阵对角线上的特征值递减存放，奇异值的减少特别快；
• 对于奇异值，可以用最大的$k$个奇异值和对应的左右奇异向量来近似描述矩阵；
  $$\begin{array}{rl}& A_{m\times n}=U_{m\times m}{\Sigma }_{m\times n}{V}_{n\times n}^T\approx U_{m\times k}{\Sigma }_{k\times k}{V}_{k\times n}^T；\\ k要比n小很多，即一个大矩阵A可以用& 三个小矩阵U_{m\times k}、{\Sigma }_{k\times k}、V_{k\times n}^T表示；\end{array}$$
  

2.5 SVD案例

3.主成分分析(PCA)

3.1 PCA简述

• 主成分分析：Principal Component Analysis,PCA；
• 主成分分析：一种降维方法，通过将一个大的特征集转换成一个较小的特征集，小特征集仍包含原始数据中的大部分信息，从而降低了原始数据的维数；
• 减少一个数据集的特征数量，会牺牲一点准确性；
  
  
  
  
  

3.2 得到包含最大差异性的主成分方向的方法

1. 通过计算数据矩阵的协方差矩阵；
2. 得到协方差矩阵的特征值特征向量；
3. 选择特征值最大的$k$个特征所对应的特征向量组成的矩阵；
4. 将数据矩阵转换到新的空间中，实现数据特征的降维；

3.3 PCA算法的实现方法

1. 基于SVD分解协方差矩阵实现PCA算法；
2. 基于特征值分解协方差矩阵实现PCA算法；

3.4 基于SVD分解协方差矩阵实现PCA算法

1. 背景：PCA从$n$维减少到$k$维，设有$m$条$n$维数据，将原始数据按列组成$n$行$m$列矩阵$X$
2. 均值归一化。计算所有特征的均值，令$x_j=x_j-{\mu }_j({\mu }_j$为均值$)$，如果特征在不同数量级上，需要除以标准差${\sigma }^2$；
3. 计算协方差矩阵$(covariancematrix)\Sigma$，即：$\Sigma =\frac{1}{m}{\sum }_{i=1}^n(x^{(i)})(x^{(i)}{)}^T$；
4. 计算协方差矩阵$\Sigma$的特征向量$(eigenvectors)$，利用奇异值分解来求解；
   

3.5 基于特征值分解协方差矩阵实现PCA算法

• 基础知识：

  1. 特征值与特征向量
     $$\begin{gathered} 如果一个向量v是矩阵A的特征向量，则满足：Av=\lambda v； \\ 其中：\lambda 是特征向量A对应的特征值，一个矩阵的一组特征向量是一组正交向量； \end{gathered}$$
  2. 特征值分解矩阵
     $$\begin{gathered} 对于矩阵A，有一组特征向量v，将这组向量进行单位正交化，即得到一组正交单位向量； \\ 特征值分解，将矩阵A分解为：A=P\Sigma P^{-1}； \\ 其中： \\ P是矩阵A的特征向量组成的矩阵； \\ \Sigma 是一个对角阵，对角线上的元素是特征值； \end{gathered}$$

• 算法流程：
  设有$m$条$n$维数据，将原始数据按列组成$n$行$m$列矩阵$X$；

  1. 均值归一化。计算所有特征的均值，令$x_j=x_j-{\mu }_j({\mu }_j$为均值$)$，如果特征在不同数量级上，需要除以标准差${\sigma }^2$；
  2. 计算协方差矩阵(covariance matrix)$\Sigma$，即：$\Sigma =\frac{1}{m}{\sum }_{i=1}^n(x^{(i)})(x^{(i)}{)}^T$；
  3. 用特征值分解方法计算协方差矩阵$\Sigma$的特征值和特征向量；
  4. 对特征值从大到小排序，选择最大的$k$个，将其对应的$k$个特征向量分别作为行向量组成特征向量矩阵$P$；
  5. 将数据转换到$k$个特征向量构建的新空间中，即$Y=PX$；

3.6 PCA算法案例分析

1. 实例背景：
   $$A=\left[\begin{array}{ccccc}-1& -1& 0& 2& 0\\ -2& 0& 0& 1& 2\end{array}\right]$$
2. 矩阵每行为零均值；
3. 求解协方差矩阵：
   $$\Sigma =\frac{1}{5}\left[\begin{array}{ccccc}-1& -1& 0& 2& 0\\ -2& 0& 0& 1& 2\end{array}\right]\left[\begin{array}{cc}-1& -2\\ -1& 0\\ 0& 0\\ 2& 1\\ 0& 1\end{array}\right]=\left[\begin{array}{cc}\frac{6}{5}& \frac{4}{5}\\ \frac{4}{5}& \frac{6}{5}\end{array}\right]$$
4. 求$\Sigma$的特征值和特征向量
   $$\begin{array}{rl}& |A-\lambda E|=\left|\begin{array}{cc}\frac{6}{5}-\lambda & \frac{4}{5}\\ \frac{4}{5}& \frac{6}{5}-\lambda \end{array}\right|=(\frac{6}{5}-\lambda {)}^2-\frac{16}{25}=0\\ & 解得特征值和特征向量：{\lambda }_1=2，{\lambda }_2=2/5；{\Sigma }_1={\left[\begin{array}{cc}1& 1\end{array}\right]}^T，{\Sigma }_2={\left[\begin{array}{cc}-1& 1\end{array}\right]}^T\end{array}$$
5. 标准化后的特征向量
   $${\alpha }_1={\left[\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right]}^T，{\alpha }_2={\left[\begin{array}{cc}-\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right]}^T$$
6. 求得矩阵$P$
   $$P=\left[\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ -\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right]$$
7. 验证协方差矩阵$\Sigma$的对角化
   $$P\Sigma P^T=\left[\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ -\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right]\left[\begin{array}{cc}\frac{6}{5}& \frac{4}{5}\\ \frac{4}{5}& \frac{6}{5}\end{array}\right]\left[\begin{array}{cc}\frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right]=\left[\begin{array}{cc}2& 0\\ 0& \frac{2}{5}\end{array}\right]$$
8. 降维后数据
   $用P的第一行乘以数据矩阵，得到降维后数据表示：$
   $$Y=\left[\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right]\left[\begin{array}{ccccc}-1& -1& 0& 2& 0\\ -2& 0& 0& 1& 1\end{array}\right]=\left[\begin{array}{ccccc}-\frac{3}{\sqrt{2}}& -\frac{1}{\sqrt{2}}& 0& \frac{3}{\sqrt{2}}& -\frac{1}{\sqrt{2}}\end{array}\right]$$
   

3.7 PCA算法优缺点

• 优点：

  1. 只需要以方差衡量信息量，不受数据集以外的因素影响；
  2. 各主成分之间正交，可消除原始数据成分之间的相互影响的因素；
  3. 计算方法简单，主要运算时特征值分解，易于实现；
  4. 无监督学习的一种，无参数限制；

• 缺点：

  1. 主成分各个特征维度的含义具有一定的模糊性，不如原始样本特征的解释性强；
  2. 方差小的非主成分可能包含对样本差异的重要信息，因降维丢弃可能对后续数据处理有影响；

注：矩阵分解部分不熟悉的读者需要详细阅读线性代数部分。

最后

以上就是端庄山水为你收集整理的机器学习入门14--降维的全部内容，希望文章能够帮你解决机器学习入门14--降维所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。