细腻眼神

文章
2
资源
0
加入时间
2年10月17天

Keras如何应对无法一次性读入内存的大文件?

对于很小的数据集来说, 我们可以直接读进内存来训练模型:model.fit(x_train, y_train)那么如果数据量太大, 比如几十G, 该怎么办呢?什么是generator好在Keras的fit函数支持了generator. 我们可以分batch读取文件来进行训练, 达到节省内存的目的.网上很多介绍generator的文章都差不多过时了, 推荐python wiki.简单来说, 就是可以定义一个函数, 每次调用返回不会停止程序, 而是返回中间结果, 下次调用的时候会继续运行循环. 比