我是靠谱客的博主 无限手套，最近开发中收集的这篇文章主要介绍深度学习Day 5.2 Tips of Deep Learning1. 深度学习的三个步骤2. 模型优化，觉得挺不错的，现在分享给大家，希望可以做个参考。
概述
目录
1. 深度学习的三个步骤
1.1 define a set of function
1.2 goodness of function
1.3 pick the best function
2. 模型优化
2.1 更新激活函数
2.2 Adaptive Learning Rate
2.3 Early Stopping
2.4 Regularization
2.5 Drop out
1. 深度学习的三个步骤
1.1 define a set of function
1.2 goodness of function
1.3 pick the best function
注意：在training data上表现不够好，不是overfit，只有training data表现不好但是test data表现好，才叫overfit
2. 模型优化
2.1 更新激活函数
sigmod函数有个缺点是large input，small output，因此容易导致梯度消失。
-->使用RELU函数
-->使用max out
2.2 Adaptive Learning Rate
Adagrad
RMSProp
Momentum
Adam
2.3 Early Stopping
2.4 Regularization
在损失函数上加一个正则项
2.5 Drop out
最后
以上就是无限手套为你收集整理的深度学习Day 5.2 Tips of Deep Learning1. 深度学习的三个步骤2. 模型优化的全部内容，希望文章能够帮你解决深度学习Day 5.2 Tips of Deep Learning1. 深度学习的三个步骤2. 模型优化所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复