概述
在遇到经常性的读取数值文件的时候,比如在做深度学习处理的数据,将原始数据转为Numpy格式的数据,然后使用Numpy直接读取,这样可以加快数据的读取速度,缩减数据加载的时间。下面对常用的保存和读取数据的方式进行介绍:
numpy.save()
保存一个数组到一个二进制的文件中,保存格式是.npy
参数介绍
numpy.save(file, arr, allow_pickle=True, fix_imports=True)
file:文件名/文件路径
arr:要存储的数组
allow_pickle:布尔值,允许使用Python pickles保存对象数组(可选参数,默认即可)
fix_imports:为了方便Pyhton2中读取Python3保存的数据(可选参数,默认即可)
例:
import numpy as np
#生成数据
x = np.arange(10)
print(x)
#保存数据
np.save('save_x',x)
输出结果:
2、numpy.savez
这个同样是保存数组到一个二进制的文件中,但是厉害之处是,它可以保存多个数组到同一个文件中,保存格式是.npz,它其实就是多个前面np.save的保存的npy,再通过打包(未压缩)的方式把这些文件归到一个文件上,不行你去解压npz文件就知道了,里面是就是自己保存的多个npy.
参数介绍
numpy.savez(file, *args, **kwds)
file:文件名/文件路径
*args:要存储的数组,可以写多个,如果没有给数组指定Key,Numpy将默认从'arr_0','arr_1'的方式命名
kwds:(可选参数,默认即可)
例:
import numpy as np
x = np.arange(10)
print(x)
y=np.sin(x)
print("保存前的数据:")
print(x,y)
np.savez('save_xy',x,y)
npzfile=np.load('save_xy.npz')
xx=npzfile['arr_0']
yy=npzfile['arr_1']
print("保存后的数据:")
print(xx,yy)
输出结果:
你也可以不用Numpy默认给数组的Key,自己给数组定义key。例:
import numpy as np
x = np.arange(10)
print(x)
y=np.sin(x)
print("保存前的数据:")
print(x,y)
np.savez('save_xy',x=x,y=y)
npzfile=np.load('save_xy.npz')
xx=npzfile['x']
yy=npzfile['y']
print("保存后的数据:")
print(xx,yy)
输出结果:
在深度学习中,拥有上述技能,你把训练集、测试集、验证集统统保存成Numpy格式的文件,大大提高加载速度。
Numpy.savez_compressed
在numpy.savez的基础上加了压缩,对文件进行打包时使用了压缩,可以理解为压缩前各npy的文件大小不变,使用该函数比前面的numpy.savez得到的npz文件更小.
注:函数所需参数和numpy.savez一致,用法完成一样.
例:
import numpy as np
x = np.arange(10)
print(x)
y=np.sin(x)
print("保存前的数据:")
print(x,y)
np.savez_compressed('save_xy',x=x,y=y)
npzfile=np.load('save_xy.npz')
xx=npzfile['x']
yy=npzfile['y']
print("保存后的数据:")
print(xx,yy)
输出结果:
Numpy.savetxt
保存数组到文本文件上,可以直接打开查看文件里面的内容.
参数介绍
numpy.savetxt(fname, X, fmt='%.18e', delimiter=' ', newline='n', header='', footer='', comments='# ', encoding=None)
fname:文件名/文件路径,如果文件后缀是.gz,文件将被自动保存为.gzip格式,np.loadtxt可以识别该格式
X:要存储的1D或2D数组
fmt:控制数据存储的格式
delimiter:数据列之间的分隔符
newline:数据行之间的分隔符
header:文件头步写入的字符串
footer:文件底部写入的字符串
comments:文件头部或者尾部字符串的开头字符,默认是'#'
encoding:使用默认参数
例:
import numpy as np
x = np.arange(10)
#保存数据
np.savetxt('test.out', x)
np.savetxt('test1.out', x,fmt='%1.4e')
np.savetxt('test2.out', x, delimiter=',')
np.savetxt('test3.out', x,newline='a')
np.savetxt('test4.out', x,delimiter=',',newline='a')
np.savetxt('test5.out', x,delimiter=',',header='abc')
np.savetxt('test6.out', x,delimiter=',',footer='abc')
输出结果:
Numpy.loadtxt
根据前面定制的保存格式,相应的加载数据的函数也得变化.
参数介绍
numpy.loadtxt(fname, dtype=<class 'float'>, comments='#', delimiter=None, converters=None, skiprows=0, usecols=None, unpack=False, ndmin=0, encoding='bytes')
fname:文件名/文件路径,如果文件后缀是.gz或.bz2,文件将被解压,然后再载入
dtype:要读取的数据类型
comments:文件头部或者尾部字符串的开头字符,用于识别头部,尾部字符串
delimiter:划分读取上来值的字符串
converters:数据行之间的分隔符
.......后面不常用的就不写了
例:
np.loadtxt('test.out')
np.loadtxt('test2.out', delimiter=',')
参考文章
https://numpy.org/doc/stable/reference/routines.io.html
最后
以上就是务实热狗为你收集整理的Numpy中常用的保存与读取数据的方法numpy.save()Numpy.savez_compressedNumpy.savetxtNumpy.loadtxt的全部内容,希望文章能够帮你解决Numpy中常用的保存与读取数据的方法numpy.save()Numpy.savez_compressedNumpy.savetxtNumpy.loadtxt所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
发表评论 取消回复