Normal Equation 简介

140 阅读 0 评论 93 点赞

我是靠谱客的博主干净期待，这篇文章主要介绍Normal Equation 简介，现在分享给大家，希望可以做个参考。

1. 什么是Normal Equation

在线性回归中，为了求得代价函数最小时的参数值θ。我们一般采用梯度下降法，但是当训练样本较小时（不超过千数量级）采用“Normal Equation”进行求解更好。“Normal Equation”一般翻译成正规方程或者标准方程，其表达式如下：

推导过程如下：

其中，用到了矩阵求导一些性质（http://blog.csdn.net/u012354244/article/details/46655709）。

2. Normal Equation的优缺点

与梯度下降相比，Normal Equation的优缺点如下。

优点：Normal Equation不需要设置learning rate；不需要多次迭代，一次性就可求解；不需要做特征收缩处理。

缺点：仅适用于训练集较小的情况；存在奇异阵导致无法求解，需要进一步处理成非奇异阵才可求解（通过删除共线的特征等方法）。

以上就是干净期待最近收集整理的关于Normal Equation 简介的全部内容，更多相关Normal内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。