活泼乌龟

文章
5
资源
0
加入时间
2年10月17天

训练之中发生OOM的解决问题办法

训练中发生OOM很有可能是一个批次对应的数据过长,导致一次GPU不能够完全地容纳地下比如如下的情况:for token_ids,segment_ids in tqdm(self.sample(random)):#传入的数据在下面定义train_generator = data_generator(train_data, batch_size) batch_token_ids.append(token_ids) batch_segment_ids.append(segment_ids)