Python：处理数据的一些代码

87 阅读 0 评论 58 点赞

我是靠谱客的博主多情纸飞机，最近开发中收集的这篇文章主要介绍Python：处理数据的一些代码，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

1.根据列表分拣图像：假如一个文件夹images有100幅图像，有一个train.nyu记录了用于训练的80幅图像路径，有一个test.nyu记录了用于测试的20幅图像路径。这个程序根据train.nyu和test.nyu把images中的100幅图像分拣到train文件夹和test文件夹。

import shutil

file=open('train.nyu','r')
for i in file.readlines():
        x=i.split()
	y=x[0].split('/')
	z1="nyu_depths/"+y[1]
	z2="train_depth/"+y[1]
        shutil.move(z1, z2)

2.搜索一个文件夹内某类型的文件，把路径保存到文本中。

#encoding=utf-8
import os 
dirpath = '/home/XXX/pictures'
targetfile = 'imagepath.txt'
 
def isimage(fn):
    return os.path.splitext(fn)[-1] in (
        '.jpg', '.JPG', '.png', '.PNG')
     
def main():
    imagelist = []
    for r, ds, fs in os.walk(dirpath):
        for fn in fs:
            if not isimage(fn):
                continue
            fname = os.path.join(r, fn)
            print(fname)
            imagelist.append(fname)
    if not imagelist:
        print('image not found')
        return
    target = os.path.join(dirpath, targetfile)
    with open(target, 'w') as f:
        f.write('n'.join(imagelist))
    print('the path of images have been wirte to', 
        target)
      
if __name__ == '__main__':
    main()

3.增加一列，比如本文中的一行为：kitti/train/0001.jpg，把它变为kitti/train/0001.jpg kitti/test/0001.jpg。

file=open('train0.nyu','r')
f=open('train1.nyu','w')
for i in file.readlines():
        x1=i.strip('n')
	x2=i.split()[0].split('/')[1]
	x3=x1+'t'+"train_depths/"+x2+'n'
	f.write(x3)

4.统计参数的个数。

file=open('1.txt','r')
y=0
for i in file.readlines():
        x1=i.find('[')
	x2=i.find(']')
	if x1==-1 or x2==-1:
		continue
	x3=i[x1+1:x2]
	x4=x3.split(', ')
	x5=map(int,x4)
	x6=reduce(lambda x,y : x*y, x5)
	y=y+x6
print y

"""
输入文件内容如下：
INFO:__main__: Number of PARAMS=3.07M
INFO:__main__: Training Process Starts
INFO:__main__: Created train set = 795 examples, val set = 654 examples
INFO:__main__: Training Stage 0
INFO:__main__: Enc. parameter: module.layer1.0.weight, shape = torch.Size([32, 3, 3, 3]).
INFO:__main__: Enc. parameter: module.layer1.1.weight, shape = torch.Size([32]).
INFO:__main__: Enc. parameter: module.layer1.1.bias, shape = torch.Size([32]).
INFO:__main__: Enc. parameter: module.layer2.0.output.0.0.weight, shape = torch.Size([32, 32, 1, 1]).
INFO:__main__: Enc. parameter: module.layer2.0.output.0.1.weight, shape = torch.Size([32]).
INFO:__main__: Enc. parameter: module.layer2.0.output.0.1.bias, shape = torch.Size([32]).
INFO:__main__: Enc. parameter: module.layer2.0.output.1.0.weight, shape = torch.Size([32, 1, 3, 3]).
输出下面乘积的结果：
32x3x3x3 + 32 + 32 + 32x32x1x1 + 32 + 32 + 32x1x3x3
"""