pytorch训练时给隐层网络特征图添加随机噪声导致训练效率低的解决办法
问题描述:最近在训练说话人识别模型x-vector时,在网络结构中,将frame-level特征进行 statistics pooling前给TDNN输出的特征添加随机噪声以提高模型的性能,但踩了个坑导致训练效率非常低,用nvidia-smi命令查看GPU的效率,时而100%时而0%,这其中肯定有问题。通过排查发现不是数据加载的问题,而是模型定义的问题。下面详细分析。模型定义的代码如下:class xvecTDNN(nn.Module): def __init__(self, numSpks,