以不变应万变，eigen特征值就是终极奥义

写在前面

这几个月，随着数学和AI学习的深入，很多复杂的知识很难用浅显的语言表达出来了。但自始自终，有一些概念却是始终缠绕在脑海中，他就是特征值。由于学识浅薄，表达难免肤浅片面，但以此作为记录，希望给以后的学习提供一点帮助。

在之前的文章中已经说过了一些关于特征值，PCA以及马尔可夫链的联系机器学习入门（八）主成分分析

特征值与马尔可夫链

当时讲了这么一个例子用来说明特征值和马尔可夫链的关系：

某个城镇，每年30%的已婚女性离婚，且20%的单婚女性结婚。假定共有8000名已婚和2000名未婚女性，并且总人口保持不变。我们研究结婚率和离婚率保持不变时将来长时间的期望问题。

首先，很简单，一年后的女性人口比例为：
$$w_1=A{w}_0=\left[\begin{array}{cc}0.7& 0.2\\ 0.3& 0.8\end{array}\right]\left[\begin{array}{c}8000\\ 2000\end{array}\right]=\left[\begin{array}{c}6000\\ 4000\end{array}\right]$$如果觉得矩阵看着不太方便的，直接列式计算也是一样。

同理，第二年$w_2=A{w}_1=A^2{w}_0$

可以用python进行验证以下几个结果
$w_{10}=\left[\begin{array}{c}4004\\ 5996\end{array}\right]$

$w_{20}=\left[\begin{array}{c}4000\\ 6000\end{array}\right]$

$w_{30}=\left[\begin{array}{c}4000\\ 6000\end{array}\right]$

发现过了某个点之后，人口会一直保持不变，（其实这就是个马尔可夫链）。实际上，从$w_{12}$之后就一直是${\left[\begin{array}{cc}4000& 6000\end{array}\right]}^T$,并且:
$$A{w}_{12}=\left[\begin{array}{cc}0.7& 0.2\\ 0.3& 0.8\end{array}\right]\left[\begin{array}{c}4000\\ 6000\end{array}\right]=\left[\begin{array}{c}4000\\ 6000\end{array}\right]$$

A乘上一个向量，等于这个向量本身，这是不是有点眼熟，正是$Ax=\lambda x$ 只不过这里的$\lambda =1$

这里还是没有说明特征值到底是什么，接着看。

这个收敛的过程，对任意的人口分布{10000-p， p}都是成立的（p是单身人口）,也就是说，无论初始向量是否相等，最后都会得到同样的稳态向量（这里不证明这个，可自行尝试其他初始值）。选择稳态向量的倍数$x_1=(2,3{)}^T$作为一个基向量，则:
$$A{x}_1=\left[\begin{array}{cc}0.7& 0.2\\ 0.3& 0.8\end{array}\right]\left[\begin{array}{c}2\\ 3\end{array}\right]=\left[\begin{array}{c}2\\ 3\end{array}\right]=x_1$$
这里的$x1$也是个稳态向量，但是不能把同一个向量的倍数当作第二个向量，所以暂时还只有一个稳态向量。

另外一个稳态向量$x_2=(-1,1{)}^T$同样满足条件使得:
$$A{x}_2=\left[\begin{array}{cc}0.7& 0.2\\ 0.3& 0.8\end{array}\right]\left[\begin{array}{c}-1\\ 1\end{array}\right]=\left[\begin{array}{c}\frac{-1}{2}\\ \\ \frac{1}{2}\end{array}\right]=\frac{1}{2}\left[\begin{array}{c}-1\\ 1\end{array}\right]=\frac{1}{2}{x}_2$$
于是$x_1$ 和$x_2$就是一对基向量。如果把整个过程看成一个线性变换的话，那么标量1和1/2就是线性变换的自然频率。如果还是不懂，可以把这个结婚离婚的事件看成一个振动过程，无论初始状态如何，最后都会停止，也就是收敛。

从这个例子就可以看出一些奥义了，即特征值可以表示一种看似随机没有规律的现象（方程）的稳定形态（通解）。

于是在学习到矩阵微分方程的时候就又一次遇到了特征值。

特征值与微分方程/高阶方程

比如现在有这么一个方程$y^{{}^{\prime \prime \prime }}+2y^{{}^{\prime \prime }}-y^{{}^{\prime }}-2y=0$求它的一般解。

由原式得$y^{{}^{\prime \prime \prime }}=-2y^{{}^{\prime \prime }}+y^{{}^{\prime }}+2y$

写成矩阵形式就是$[y^{{}^{\prime \prime \prime }}]=\left[\begin{array}{ccc}-2& 1& 2\end{array}\right]\left[\begin{array}{c}{y}^{{}^{\prime \prime }}\\ y^{{}^{\prime }}\\ y\end{array}\right]$

把它补全的话就是$$\left[\begin{array}{c}{y}^{{}^{\prime \prime \prime }}\\ y^{{}^{\prime \prime }}\\ y^{{}^{\prime }}\end{array}\right]=\left[\begin{array}{ccc}-2& 1& 2\\ 1& 0& 0\\ 0& 1& 0\end{array}\right]\left[\begin{array}{c}{y}^{{}^{\prime \prime }}\\ y^{{}^{\prime }}\\ y\end{array}\right]$$

中间这个矩阵就是需要进行特征值求解的矩阵, 具体方法不过多展开，求出来得$(1+\lambda )(1-\lambda )(2+\lambda )$

其实这个式子展开就是原式${\lambda }^3+2{\lambda }^2-\lambda -2=0$ ，当你熟练了之后可以直接由原式进行因式分解（考研大佬忽略这里）

所以三个特征值${\lambda }_1=1,{\lambda }_2=-1,{\lambda }_3=-2$可得通解：
$y=C_1{e}^x+C_2{e}^{-x}+C_3{e}^{-2x}$

同理对于形如$x^3+2x^2-3x=6=0$这类的高阶方程（四次，五次…都可以），也是一样可以使用这种方式求解。

从这个例子能感受到一种，特征值就是那个以不变应万变的值。

看似变化的万物就像一根弹簧，最后都会收敛到一个固定的位置（特征值）。

特征值与降维

于是乎，当你掌握了某种现象的变化规律，你就可以将它从高阶映射到低阶，从而实现降维的作用。正如前面的链接机器学习入门（八）主成分分析提到的那样, 如果是一个方阵，则直接进行特征值分解，如果不是一个方阵，则可以通过$A{A}^T$和$A^{T}A$进行奇艺值分解，从而实现降维。

写在后面

特征值的应用还有很多，特别是在物理上和机器学习中，比如振动，分子轨迹（不知道金融市场中的布朗运动是否也能和特征值扯上关系），很多更深的奥义暂时也理解不了，所以先记到这里。

最后

以上就是简单学姐为你收集整理的以不变应万变，eigen特征值就是终极奥义的全部内容，希望文章能够帮你解决以不变应万变，eigen特征值就是终极奥义所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。