Python 模版（一）

模块

  随着python越来越强大，相同的代码也在不段复杂。为了能够更好更方便的维护，人们越来越愿意把很多写出来的功能函数保存在不同的文件夹中，这样在用的时候调用，不用的时候可以忽略。这就是模块的由来。

优点：

可以大大的提供代码的可维护性，不必从零开始，当一个模块编写完毕，就可以被其他地方引用。

模块分为三种：

自定义模块（根据自己的需求自己写的）、第三方模块（在网上有很多人把自己的模块放在网上分享）、内置模块（python自己内部的模块）

一、自定义模块：

 为了避免函数名和变量名冲突，相同的函数名和变量名存在不同的模块中，因此不必担心名字和模块有冲突。但是要尽量不要把函数名字和内置函数冲突。更多内置函数点击这里

  在不同的人编写模块时，为了避免模块名的冲突，Python又引入了按目录来组织模块的方法，称为包（Package）。例如，wulaoer.py文件就是一个名字叫wulaoer的模块，为了避免wulaoer模块与其他模块有冲突，于是可以通过包来组织模块，避免冲突。方法是选择一个顶层报名，比如mycompany，只要包名不与其他冲突，模块就不会有冲突。现在wulaoer模块的名字就变成了mycompany.wulaoer，这里需要注意的是每个包目录下都会有一个__init__.py的文件，而且这个文件是必须存在的，否则这个目录就只能是一个普通的目录而不是包。

如下图：

模块的导入：

在强大的python背后有很多模块一直在支撑，在使用的时候如何使用？以下有几种模块导入方法：

import macpath    #直接导入macpath模块
from macpath import normcase    #导入macpath模块里的normcase函数
from macpath import norm_error as rename    #导入macpath模块里的normcase函数，并给函数一个别名
from macpath import *    #导入macpath模块里的所有函数

所有的模块以哪个路径为基准？即：sys.path

#!/usr/bin/env  python
# --*--coding:utf-8 --*--
import sys
print sys.path

输出结果：

['E:\python2\mycompany', 'C:\Python27\lib\site-packages\paramiko-1.10.1-py2.7.egg', 'E:\python2', 'C:\Windows\system32\python27.zip', 'C:\Python27\DLLs', 'C:\Python27\lib', 'C:\Python27\lib\plat-win', 'C:\Python27\lib\lib-tk', 'C:\Python27', 'C:\Python27\lib\site-packages']

以以上任何一个路径为基准。一般都会选择放在site-packages目录下。需要的时候直接调用。

如果没有的你想要的路径，可以通过sys.path.append(‘路径’)添加。

通过os模块可以获取各种目录，例如：

import sysimport os

pre_path = os.path.abspath('../')
sys.path.append(pre_path)

二、开源模块

下载安装方法：

yum 
pip
apt-get
...

下载源码
解压源码
进入目录
编译源码    python setup.py build
安装源码    python setup.py install

注：在使用源码安装时，需要使用到gcc编译和python开发环境，所以，需要先执行：

yum install gcc
yum install python-devel
或
apt-get python-dev

安装成功后，模块自动安装到sys.path中的某个目录中，如：

/usr/lib/python2.7/site-packages/

模块paramiko：

paramiko是一个用于做远程控制的模块，使用该模块可以对远程服务器进行命令或文件操作，值得一说的是，fabric和ansible内部的远程管理就是使用的paramiko来实现。

1、下载安装

# pycrypto，由于 paramiko 模块内部依赖pycrypto，所以先下载安装pycrypto
 
# 下载安装 pycrypto
wget http://files.cnblogs.com/files/wulaoer/pycrypto-2.6.1.tar.gz
tar -xvf pycrypto-2.6.1.tar.gz
cd pycrypto-2.6.1
python setup.py build
python setup.py install
 
# 进入python环境，导入Crypto检查是否安装成功
 
# 下载安装 paramiko
wget http://files.cnblogs.com/files/wulaoer/paramiko-1.10.1.tar.gz
tar -xvf paramiko-1.10.1.tar.gz
cd paramiko-1.10.1
python setup.py build
python setup.py install
 
# 进入python环境，导入paramiko检查是否安装成功

2、使用模块

#!/usr/bin/env python
#coding:utf-8
import paramiko
ssh = paramiko.SSHClient()
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
ssh.connect('192.168.1.108', 22, 'wulaoer', '123')
stdin, stdout, stderr = ssh.exec_command('df')
print stdout.read()
ssh.close();

执行命令 -通过密钥连接服务器

import paramiko
private_key_path = '/home/auto/.ssh/id_rsa'
key = paramiko.RSAKey.from_private_key_file(private_key_path)
ssh = paramiko.SSHClient()
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
ssh.connect('主机名 ', 端口, '用户名', key)
stdin, stdout, stderr = ssh.exec_command('df')
print stdout.read()
ssh.close()

通过用户名和密码 -- 上传或者下载文件

import os,sys
import paramiko
t = paramiko.Transport(('182.92.219.86',22))
t.connect(username='wulaoer',password='123')
sftp = paramiko.SFTPClient.from_transport(t)
sftp.put('/tmp/test.py','/tmp/test.py') 
t.close()
import os,sys
import paramiko
t = paramiko.Transport(('182.92.219.86',22))
t.connect(username='wulaoer',password='123')
sftp = paramiko.SFTPClient.from_transport(t)
sftp.get('/tmp/test.py','/tmp/test2.py')
t.close()

通过密钥-上传或者下载文件

import paramiko
pravie_key_path = '/home/auto/.ssh/id_rsa'
key = paramiko.RSAKey.from_private_key_file(pravie_key_path)
t = paramiko.Transport(('182.92.219.86',22))
t.connect(username='wupeiqi',pkey=key)
sftp = paramiko.SFTPClient.from_transport(t)
sftp.put('/tmp/test3.py','/tmp/test3.py') 
t.close()
import paramiko
pravie_key_path = '/home/auto/.ssh/id_rsa'
key = paramiko.RSAKey.from_private_key_file(pravie_key_path)
t = paramiko.Transport(('182.92.219.86',22))
t.connect(username='wupeiqi',pkey=key)
sftp = paramiko.SFTPClient.from_transport(t)
sftp.get('/tmp/test3.py','/tmp/test4.py') 
t.close()

三、内置模块

1、os

用于提供系统级别的操作

os.getcwd() 获取当前工作目录，即当前python脚本工作的目录路径
os.chdir("dirname")  改变当前脚本工作目录；相当于shell下cd
os.curdir  返回当前目录: ('.')
os.pardir  获取当前目录的父目录字符串名：('..')
os.makedirs('dirname1/dirname2')    可生成多层递归目录
os.removedirs('dirname1')    若目录为空，则删除，并递归到上一级目录，如若也为空，则删除，依此类推
os.mkdir('dirname')    生成单级目录；相当于shell中mkdir dirname
os.rmdir('dirname')    删除单级空目录，若目录不为空则无法删除，报错；相当于shell中rmdir dirname
os.listdir('dirname')    列出指定目录下的所有文件和子目录，包括隐藏文件，并以列表方式打印
os.remove()  删除一个文件
os.rename("oldname","newname")  重命名文件/目录
os.stat('path/filename')  获取文件/目录信息
os.sep    输出操作系统特定的路径分隔符，win下为"\",Linux下为"/"
os.linesep    输出当前平台使用的行终止符，win下为"tn",Linux下为"n"
os.pathsep    输出用于分割文件路径的字符串
os.name    输出字符串指示当前使用平台。win->'nt'; Linux->'posix'
os.system("bash command")  运行shell命令，直接显示
os.environ  获取系统环境变量
os.path.abspath(path)  返回path规范化的绝对路径
os.path.split(path)  将path分割成目录和文件名二元组返回
os.path.dirname(path)  返回path的目录。其实就是os.path.split(path)的第一个元素
os.path.basename(path)  返回path最后的文件名。如何path以／或结尾，那么就会返回空值。即os.path.split(path)的第二个元素
os.path.exists(path)  如果path存在，返回True；如果path不存在，返回False
os.path.isabs(path)  如果path是绝对路径，返回True
os.path.isfile(path)  如果path是一个存在的文件，返回True。否则返回False
os.path.isdir(path)  如果path是一个存在的目录，则返回True。否则返回False
os.path.join(path1[, path2[, ...]])  将多个路径组合后返回，第一个绝对路径之前的参数将被忽略
os.path.getatime(path)  返回path所指向的文件或者目录的最后存取时间
os.path.getmtime(path)  返回path所指向的文件或者目录的最后修改时间

更多点击这里

2、sys

用于提供对解释器相关的操作

sys.argv           命令行参数List，第一个元素是程序本身路径
sys.exit(n)        退出程序，正常退出时exit(0)
sys.version        获取Python解释程序的版本信息
sys.maxint         最大的Int值
sys.path           返回模块的搜索路径，初始化时使用PYTHONPATH环境变量的值
sys.platform       返回操作系统平台名称
sys.stdout.write('please:')
val = sys.stdin.readline()[:-1]

更多点击这里

3、hashlib

用于加密相关的操作，代替了md5模块和sha模块，主要提供SHA1，SHA224,SHA256,AHA384,SHA512,MD5算法

md5-已废弃

import md5
hash = md5.new()
hash.update('admin')
print hash.hexdigest()

sha -废弃

import sha
hash = sha.new()
hash.update('admin')
print hash.hexdigest()

import hashlib
 
# ######## md5 ########
 
hash = hashlib.md5()
hash.update('admin')
print hash.hexdigest()
 
# ######## sha1 ########
 
hash = hashlib.sha1()
hash.update('admin')
print hash.hexdigest()
 
# ######## sha256 ########
 
hash = hashlib.sha256()
hash.update('admin')
print hash.hexdigest()
 
 
# ######## sha384 ########
 
hash = hashlib.sha384()
hash.update('admin')
print hash.hexdigest()
 
# ######## sha512 ########
 
hash = hashlib.sha512()
hash.update('admin')
print hash.hexdigest()

以上虽然都很不错，但是都有缺陷，即：通过撞库可以反解。所以，有必要对加密算法中添加自定key来做加密。

import hashlib
 
# ######## md5 ########
 
hash = hashlib.md5('898oaFs09f')
hash.update('admin')
print hash.hexdigest()

还有一个hmac模块，它内部对我们创建key和内容在进行处理在加密

import hmac
h = hmac.new('wulaoer')
h.update('hellowo')
print h.hexdigest()

四、json和pickle

用与序列化的两个模块

json，用于字符串和python数据类型的转换

pickle，用于python特有的类型和python的数据类型间转换。

json模块提供了四个功能：dumps、dump、loads、load

pickle模块提供了四个功能：dumps、dump、loads、load

import pickle
data = {'k1':123, 'k2':'Hello'}
#pickle.dumps 将数据通过特殊的形式转换为只有python语言认识的字符串
p_str = pickle.dumps(data)
print p_str
#pickle.dump 将数据通过特殊的形式转换为只有python语言认识的字符串，并写入文件
with open('d:/python2/wulaoer.py', 'w') as fp:
    pickle.dump(data, fp)
import json
#json.dumps 将通过特殊的形式转换为所有程序语言都认识的字符串
j_str = json.dumps(data)
print j_str
#json.dump 将通过特殊的形式转换为所有程序语言都认识的字符串，并写入文件
with open('d:/python2/wulaoer.py', 'w') as fp:
    json.dump(data, fp)

五、执行系统命令

可以执行shell命令的相关模块和函数有：

 os.system

 os.spawn*

 os.popen*    --废弃

 popen2.*    --废弃

 commands.*    --废弃。3.x中被移除

import commands
result = commands.getoutput('cmd')
result = commands.getstatus('cmd')
result = commands.getstatusoutput('cmd')

以上执行shell命令的相关的模块和函数的功能均在subprocess模块中实现，并提供了更丰富的功能。

call

执行命令，返回状态码

ret = subprocess.call(["ls", "-l"], shell=False)
ret = subprocess.call("ls -l", shell=True)

shell = True,允许shell命令是字符串形式。

check_call

执行命令，如果执行状态码是0，则返回0，否则异常

subprocess.check_call(["ls", "-l"])
subprocess.check_call("exit 1", shell=True)

check_output

执行命令，如果状态码是0，则返回执行结果，否则异常

subprocess.check_output(["echo", "Hello World!"])
subprocess.check_output("exit 1", shell=True)

subprocess.Popen(...)

用于执行复杂的系统命令

参数：

 args：shell命令，可以是字符串或者序列类型（如：list，元组）

 bufsize：指定缓冲。0 无缓冲,1 行缓冲,其他 缓冲区大小,负值 系统缓冲

 stdin, stdout, stderr：分别表示程序的标准输入、输出、错误句柄

 preexec_fn：只在Unix平台下有效，用于指定一个可执行对象（callable object），它将在子进程运行之前被调用

 close_sfs：在windows平台下，如果close_fds被设置为True，则新创建的子进程将不会继承父进程的输入、输出、错误管道。所以不能将close_fds设置为True同时重定向子进程的标准输入、输出与错误(stdin, stdout, stderr)。

 shell：同上

 cwd：用于设置子进程的当前目录

 env：用于指定子进程的环境变量。如果env = None，子进程的环境变量将从父进程中继承。

 universal_newlines：不同系统的换行符不同，True -> 同意使用 n

 startupinfo与createionflags只在windows下有效将被传递给底层的CreateProcess()函数，用于设置子进程的一些属性，如：主窗口的外观，进程的优先级等等

执行普通命令

import subprocess
ret1 = subprocess.Popen(["mkdir","t1"])
ret2 = subprocess.Popen("mkdir t2", shell=True)

终端输入的命令分为两种：

 输入即可得到输出，如：ifconfig

 输入进行某环境，依赖在输入，如：python

import subprocess
obj = subprocess.Popen("mkdir t3", shell=True, cwd='/home/dev',)

import subprocess
obj = subprocess.Popen(["python"], stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
obj.stdin.write('print 1 n ')
obj.stdin.write('print 2 n ')
obj.stdin.write('print 3 n ')
obj.stdin.write('print 4 n ')
obj.stdin.close()
cmd_out = obj.stdout.read()
obj.stdout.close()
cmd_error = obj.stderr.read()
obj.stderr.close()
print cmd_out
print cmd_error

import subprocess
obj = subprocess.Popen(["python"], stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
obj.stdin.write('print 1 n ')
obj.stdin.write('print 2 n ')
obj.stdin.write('print 3 n ')
obj.stdin.write('print 4 n ')
out_error_list = obj.communicate()
print out_error_list

import subprocess
obj = subprocess.Popen(["python"], stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
out_error_list = obj.communicate('print "hello"')
print out_error_list

更多点这里