前端累加nan怎么解决_训练网络loss出现Nan解决办法

57 阅读 0 评论 38 点赞

我是靠谱客的博主鳗鱼钢笔，最近开发中收集的这篇文章主要介绍前端累加nan怎么解决_训练网络loss出现Nan解决办法，觉得挺不错的，现在分享给大家，希望可以做个参考。

训练网络loss出现Nan解决办法

一.原因

一般来说，出现NaN有以下几种情况：

1.如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。

2.如果当前的网络是类似于RNN的循环神经网络的话，出现NaN可能是因为梯度爆炸的原因，一个有效的方式是增加“gradient clipping”（梯度截断来解决）

3.可能用0作为了除数;

4.可能0或者负数作为自然对数

5.需要计算loss的数组越界（尤其是自己，自定义了一个新的网络，可能出现这种情况）

6.在某些涉及指数计算，可能最后算得值为INF（无穷）（比如不做其他处理的softmax中分子分母需要计算exp（x），值过大，最后可能为INF/INF，得到NaN，此时你要确认你使用的softmax中在计算exp（x）做了相关处理（比如减去最大值等等））

二.典型实例

①梯度爆炸

原因：梯度变得非常大，使得学习过程难以继续

现象：观察log，注意每一轮迭代后的loss。loss随着每轮迭代越来越大，最终超过了浮点型表示的范围，就变成了NaN。

措施：

1. 减小solver.prototxt中的base_lr，至少减小一个数量级。如果有多个loss layer࿰

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。