概述
1. 背景介绍
最优化求解问题可能是我们在工作中遇到的最多的一类问题了：从已有的数据中提炼出最适合的模型参数，从而对未知的数据进行预测。当我们面对高维高数据量的场景时，常见的批量处理的方式已经显得力不从心，需要有在线处理的方法来解决此类问题。
在CTR预估中，经常会用到经典的逻辑回归（LR），而对LR的各维度参数进行估计的时候会用到最优化算法，常见的比如梯度下降（Gradient Descent），牛顿法等等，这些方法都属于批量处理算法（Batch），当面对高维高数据量的场景时就显得有些笨重，因为在每次迭代中都需要对所有样本，所有维度进行计算，这个计算量是相当大的。所以，就需要引入在线最优化求解方法了，同时，在线最优化算法考虑最多的是计算得到的模型的稀疏性。目前所知相对最好的在线最优化算法是FTRL。而至于FTRL的由来，则是与其它几个算法（如FOBOS，RDA等）有关，所以这篇博客首先介绍一下FTRL及其相关的几个算法的来龙去脉和联系，然后再针对FTRL算法的具体实现问题进行探讨。
2. L1正则化法
L1正则化法很简单，在GD，SGD，OGD中都会用到，其对权重的更新方式如下：
但是，在线计算的每次迭代过程中，仅仅靠几个float类型的数相加，是很难得到0的，所以说很难得到稀疏解。
3. 简单截断法
为了得到稀疏的特征权重
最后
以上就是满意小鸭子为你收集整理的FTRL的全部内容，希望文章能够帮你解决FTRL所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复