saltstack 自动化运维神器（二）文件同步

83 阅读 0 评论 55 点赞

我是靠谱客的博主激昂小刺猬，最近开发中收集的这篇文章主要介绍saltstack 自动化运维神器（二）文件同步，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

文件同步：

其实在做openstack的运维对一些文件的同步其实是很繁琐。有一个配置项或者一行代码的源码文件进行同步。那么现在我们就开始介绍saltstack的文件同步功能

环境说明：操作系统版本：rhel6.5x64

1、master配置同步根目录

在开始saltstack的配置管理之前，要首先指定saltstack所有状态文件的根目录，在master上做如下操作

## 首先修改master的配置文件，指定根目录，注意缩进全部使用两个空格来代替Tab（python规范）## 确定指定的目录是否存在，如果不存在，需要手动来创建目录

1
2
3
4
5
6
7
8
9
10

[iyunv@controller1 ~]# vim /etc/salt/master
file_roots:
  base:
- /srv/salt
  dev:
- /srv/salt/dev/

[iyunv@controller1 ~]# mkdir -p /srv/salt/dev
[iyunv@controller1 ~]# ls -ld /srv/salt/dev
drwxr-xr-x 2 root root 4096 Feb  3 21:49 /srv/salt/dev

重启master服务

1
2
3

[iyunv@controller1 ~]# service salt-master restart
Stopping salt-master daemon: [ OK ]
Starting salt-master daemon: [ OK ]

2、介绍cp.get_file

首先介绍cp.get_file，用来从master端下载文件到minion的指定目录下，如下

## 在master上创建测试用的文件

1
2
3

[iyunv@controller1 ~]# echo 'This is test file with saltstack module to cp.get_file' >/opt/getfile.txt
[iyunv@controller1 ~]# cat /opt/getfile.txt
This is test file with saltstack module to cp.get_file

将文件拷贝到master的同步根目录下

1	[iyunv@controller1 ~]# cp /opt/getfile.txt /srv/salt/

在master上执行文件下发

1
2
3

[iyunv@controller1 ~]# salt 'computer3' cp.get_file salt://getfile.txt /tmp/getfile.txt
computer3:
/tmp/getfile.txt

登录到computer3上查看同步情况

1 2	[iyunv@computer3 ~]# cat /tmp/getfile.txt This is test file with saltstack module to cp.get_file

分发文件的一些属性：

（1）压缩 gzip

使用gzip的方式进行压缩，数字越大，压缩率就越高，9代表最大的压缩率

1
2
3

[iyunv@controller1 ~]# salt 'computer8' cp.get_file salt://getfile.txt /tmp/getfile.txt gzip=9
computer8:
/tmp/getfile.txt

（2）创建目录 makedirs（当分发的位置在目标主机上不存在时，自动创建该目录）

1
2
3
4
5
6

[iyunv@controller1 ~]# salt 'computer8' cp.get_file salt://getfile.txt /tmp/srv/getfile.txt makedirs=True
computer8:
/tmp/srv/getfile.txt

[iyunv@computer8 opt]# ll /tmp/srv/getfile.txt
-rw-r--r-- 1 root root 56 Feb 3 22:14 /tmp/srv/getfile.txt

3、grains

先介绍一下grains，这个接口的作用是在minion端的minion服务启动时，调用这个接口，收集minion端的信息，这些信息数据可以在salt的其他模块中直接使用，需要注意的是，这个接口只在minion端的minion服务启动时被调用一次，所以收集的数据是静态的，不会改变的，除非你重启了minion端的服务

grains的基本用法:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50

[iyunv@controller1 ~]# salt 'computer3' grains.ls
computer3:
- biosreleasedate
- biosversion
- cpu_flags
- cpu_model
- cpuarch
- defaultencoding
- defaultlanguage
- domain
- fqdn
- fqdn_ip4
- fqdn_ip6
- gpus
- host
- hwaddr_interfaces
- id
- ip_interfaces
- ipv4
- ipv6
- kernel
- kernelrelease
- localhost
- manufacturer
- master
- mem_total
- nodename
- num_cpus
- num_gpus
- os
- os_family
- osarch
- oscodename
- osfinger
- osfullname
- osmajorrelease
- osrelease
- path
- productname
- ps
- pythonpath
- pythonversion
- saltpath
- saltversion
- saltversioninfo
- serialnumber
- server_id
- shell
- virtual
- zmqversion

使用grains.items模块列出所有可用grains的具体数据

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77

[iyunv@controller1 ~]# salt 'computer3' grains.items
computer3:
  biosreleasedate: 08/28/2013
  biosversion: 2.10.0
  cpu_flags: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon pebs bts rep_good xtopology nonstop_tsc aperfmperf pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 cx16 xtpr pdcm pcid dca sse4_1 sse4_2 x2apic popcnt aes lahf_lm arat dts tpr_shadow vnmi flexpriority ept vpid
  cpu_model: Intel(R) Xeon(R) CPU E7- 4820  @ 2.00GHz
  cpuarch: x86_64
  defaultencoding: UTF8
  defaultlanguage: en_US
  domain:
  fqdn: computer3
  fqdn_ip4:
   192.168.100.23
  fqdn_ip6:
  gpus:
   {'model': 'MGA G200eW WPCM450', 'vendor': 'unknown'}
  host: computer3
  hwaddr_interfaces: {'lo': '00:00:00:00:00:00', 'tap002cf093-0c': 'fe:16:3e:cf:43:28', 'em4': 'f0:1f:af:90:38:65', 'eth1.2': 'f0:1f:af:90:37:fd', 'em3': 'f0:1f:af:90:38:63', 'brq8f15ee7f-54': 'f0:1f:af:90:37:fd', 'brqadf94242-74': 'f0:1f:af:90:37:fd', 'eth1.400': 'f0:1f:af:90:37:fd', 'eth1': 'f0:1f:af:90:37:fd', 'eth0': 'f0:1f:af:90:37:fb'}
  id: computer3
  ip_interfaces: {'lo': ['127.0.0.1'], 'tap002cf093-0c': [], 'em4': [], 'eth1.2': [], 'em3': [], 'brq8f15ee7f-54': [], 'brqadf94242-74': [], 'eth1.400': [], 'eth1': [], 'eth0': ['192.168.100.23']}
  ipv4:
   127.0.0.1
   192.168.100.23
  ipv6:
   ::1
   fe80::60f7:96ff:feab:3d44
   fe80::f21f:afff:fe90:37fb
   fe80::f21f:afff:fe90:37fd
   fe80::f8e7:cdff:fe54:7d02
   fe80::fc16:3eff:fecf:4328
  kernel: Linux
  kernelrelease: 2.6.32-431.el6.x86_64
  localhost: computer3
  manufacturer: Dell Inc.
  master: 192.168.100.200
  mem_total: 225995
  nodename: computer3
  num_cpus: 64
  num_gpus: 1
  os: RedHat
  os_family: RedHat
  osarch: x86_64
  oscodename: Santiago
  osfinger: Red Hat Enterprise Linux Server-6
  osfullname: Red Hat Enterprise Linux Server
  osmajorrelease:
   6
   5
  osrelease: 6.5
  path: /sbin:/usr/sbin:/bin:/usr/bin
  productname: PowerEdge M910
  ps: ps -efH
  pythonpath:
   /usr/bin
   /usr/lib64/python26.zip
   /usr/lib64/python2.6
   /usr/lib64/python2.6/plat-linux2
   /usr/lib64/python2.6/lib-tk
   /usr/lib64/python2.6/lib-old
   /usr/lib64/python2.6/lib-dynload
   /usr/lib64/python2.6/site-packages
   /usr/lib64/python2.6/site-packages/gtk-2.0
   /usr/lib/python2.6/site-packages
   /usr/lib/python2.6/site-packages/setuptools-0.6c11-py2.6.egg-info
  pythonversion: 2.6.6.final.0
  saltpath: /usr/lib/python2.6/site-packages/salt
  saltversion: 2014.1.10
  saltversioninfo:
   2014
   1
   10
   0
  serialnumber: XXXXXX
  server_id: 111111111
  shell: /bin/bash
  virtual: physical
  zmqversion: 4.0.5

ping测试grains中os的值为RedHat的主机通信是否正常

1
2
3
4
5
6
7
8
9
10
11
12
13

[iyunv@controller1 ~]# salt -G 'os:RedHat' test.ping
computer5:
True
computer8:
True
computer6:
True
computer7:
True
computer4:
True
computer3:
True

查看uadoop2主机的ip地址，注意这里不是items噢，而是item

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

[iyunv@controller1 ~]# salt '*' grains.item ipv4
computer5:
  ipv4:
   127.0.0.1
   192.168.100.25
computer7:
  ipv4:
   127.0.0.1
   192.168.100.27
computer4:
  ipv4:
   127.0.0.1
   192.168.100.24
computer3:
  ipv4:
   127.0.0.1
   192.168.100.23
computer8:
  ipv4:
   127.0.0.1
   192.168.100.28
computer6:
  ipv4:
   127.0.0.1
   192.168.100.26

好了，在介绍了grains接口之后，接下来看下在cp模块中如何简单的使用grains的数据呢

先确定os是什么版本

1
2
3

[iyunv@controller1 RedHat]# salt 'computer4' grains.item os
computer4:
os: RedHat

1
2
3
4
5

[iyunv@controller1 ~]# mkdir /srv/salt/RedHat/
[iyunv@controller1 ~]# mv /srv/salt/getfile.txt /srv/salt/RedHat/
[iyunv@controller1 RedHat]# salt 'computer4' cp.get_file "salt://{{grains.os}}/getfile.txt" /opt/getfile.txt template=jinja
computer4:
/opt/getfile.txt

4、目录同步

介绍cp.get_dir，get_dir与get_file的用法十分相似，用来将整个目录分发到minions

创建测试文件

1
2
3
4
5
6
7

[iyunv@controller1 ~]# mkdir /srv/salt/test_dir
[iyunv@controller1 ~]# echo 'hello word !!' >>/srv/salt/test_dir/hello1.txt
[iyunv@controller1 ~]# echo 'hello2 word !!' >>/srv/salt/test_dir/hello2.txt
[iyunv@controller1 ~]# ll /srv/salt/test_dir/
total 8
-rw-r--r-- 1 root root 14 Feb 4 14:49 hello1.txt
-rw-r--r-- 1 root root 15 Feb 4 14:49 hello2.txt

测试分发：执行目录文件的分发，并使用压缩传输

1
2
3
4
5
6
7
8
9
10

[iyunv@controller1 ~]# salt 'computer4' cp.get_dir salt://test_dir /tmp gzip=9
computer4:
- /tmp/test_dir/hello1.txt
- /tmp/test_dir/hello2.txt

登录到目标节点查看分发状态：
[iyunv@computer4 ~]# ll /tmp/test_dir/
total 8
-rw-r--r-- 1 root root 14 Feb 4 14:52 hello1.txt
-rw-r--r-- 1 root root 15 Feb 4 14:52 hello2.txt

5、数据的灵活变更

在往下介绍之前，首先介绍一下salt的pillar接口，pillar是salt中比较重要的组件，跟grains有些相似，但是pillar相比于grains更加灵活，而且是动态的，数据可以随时更新，只要你愿意的话。而grains只在minion启动时采集一次数据，关于pillar官网描述如下，简单翻译一下，但不保证翻译的到位，意思是说pillar是salt实现部署功能的最重要的组件，能够为minions生成非常灵活的数据，这些数据可以被salt的其他的组件所使用。

1	The pillar interface inside of Salt is one of the most important components of a Salt deployment. Pillar is the interface used to generate arbitrary data for specific minions. The data generated in pillar is made available to almost every component of Salt.

grains的基本用法

（1）配置master

1
2
3
4
5
6
7
8
9

[iyunv@controller1 ~]# vim /etc/salt/master
pillar_roots:
  base:
- /srv/pillar
[iyunv@controller1 ~]# service salt-master restart
Stopping salt-master daemon:                            [  OK  ]
Starting salt-master daemon:                            [  OK  ]
[iyunv@controller1 ~]# mkdir /srv/pillar
[iyunv@controller1 ~]# mkdir /srv/pillar/user //创建一个user的测试目录

（2）创建入口文件

首先在/srv/pillar目录中要有一个入口文件top.sls

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

[iyunv@controller1 pillar]# cat top.sls
base:
  'computer3':
- date       ## 为uadoop2定义了一个属性数据，引用了跟top.sls同目录下的data.sls

  'computer4':
- webserver ## 为uadoop3定义了一个属性数据，引用了跟top.sls同目录下的web.sls

  '*':
- user       ## 为所有节点定义了一个属性数据，引用了/srv/pillar/user/init.sls
               ## 这里指定的是一个目录，salt会自动在top.sls文件中的引用目录中寻找状态文件
               ## 因此会找到位于user目录中的init.sls文件
               ## 在测试请不要有任何的‘#’
编写其他两个属性：
[iyunv@controller1 pillar]# cat date.sls
date: some date
[iyunv@controller1 pillar]# cat webserver.sls
webserver: test_dir

测试：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61

# salt '*' pillar.items

computer3:
----------
date:
      some date
master:
      ----------
      auth_mode:
         1
      auto_accept:
      ....省略N行...........
user:
      ----------
      foway:
         1200
      kadefor:
         1000
      kora:
         1000
computer4:
----------
master:
      ----------
      auth_mode:
         1
      auto_accept:
         False
      cachedir:
         /var/cache/salt/master
      .........省略N行..........
user:
      ----------
      foway:
         1200
      kadefor:
         1000
      kora:
         1000
webserver:
      test_dir
computer5:
----------
master:
      ----------
      auth_mode:
         1
      auto_accept:
         False
      cachedir:
         /var/cache/salt/master
         ......省略N行......
user:
      ----------
      foway:
         1200
      kadefor:
         1000
      kora:
         1000
         ...............

在master上远程获取刚刚定义的属性

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42

[iyunv@controller1 pillar]# salt 'computer3' pillar.items
computer3:
----------
date:
      some date
master:
      ----------
      auth_mode:
         1
      auto_accept:
         False
      cachedir:
      ..........省略N行..........
user:
      ----------
      foway:
         1200
      kadefor:
         1000
      kora:
         1000

[iyunv@controller1 pillar]# salt 'computer4' pillar.items
computer4:
----------
master:
      ----------
      auth_mode:
         1
      auto_accept:
         False
   ..........省略N行..........
user:
      ----------
      foway:
         1200
      kadefor:
         1000
      kora:
         1000
webserver:
      test_dir

## 可以看到刚刚为不同的minion定义的属性已经同步到了各个minion上，从这个测试可以看出，使用pillar
## 我们可以为不同的minion或者不同的minion组定义不同的属性，极其灵活。

好了，在介绍了pillar接口之后，接下来看下在cp模块中如何简单的使用pillar定义的属性数据呢

我们可以利用之前定义的属性来匹配不同的minion

首先先同步一下pillar到每个节点上

1
2
3
4
5
6
7
8
9
10
11
12
13

[iyunv@controller1 ~]# salt '*' saltutil.refresh_pillar
computer8:
None
computer4:
None
computer5:
None
computer6:
None
computer3:
None
computer7:
None

测试一下匹配

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

[iyunv@controller1 ~]# salt -I -v 'date:some date' test.ping
Executing job with jid 20150204164730224160
-------------------------------------------

computer3:
True
[iyunv@controller1 ~]# salt -I -v 'webserver:test_dir' test.ping
Executing job with jid 20150204165017170702
-------------------------------------------

computer4:
True
[iyunv@controller1 ~]# salt -I -v 'users:foway:1200' test.ping
Executing job with jid 20150204165053938046
-------------------------------------------

computer5:
True
computer6:
True
computer7:
True
computer3:
True
computer8:
True
computer4:
True

匹配computer3，然后在master上远程分发文件到computer上去

1
2
3
4
5
6
7

[iyunv@controller1 salt]# salt -I -v 'webserver:test_dir' cp.get_dir "salt://{{pillar.webserver}}" /opt/ gzip=9 template=jinja
Executing job with jid 20150204165518149257
-------------------------------------------

computer4:
- /opt//test_dir/hello1.txt
- /opt//test_dir/hello2.txt