keras 实验细节分析
最近在训练imagenNet 数据集,在使用keras 训练时需要多GPU 训练。因此我使用了keras 里面的多GPU训练,在训练的时候不管使用几个GPU发现速度并没有提升多少,然后我查看了GPU使用情况,发现第一个GPU占用率最大。其他的你说他没有运行吧,它也在运行使用率都是个位数。这时候,我发现这才是导致训练的时间没有变化的原因。因此我找了很多方法,各种动态调试。最后我发现解决这个问题的办法竟然时keras tensorflow 的版本问题。我原来使用了tensorflow 1.14.0版