heartbeat 3.0 mysql_DRBD+Heartbeat+Mysql高可用环境部署

系统环境 RHEL6.5

192.168.63.111 ty2.com

192.168.63.112 ty3.com

Heartbeat配置

此时，两台机器的操作步骤是一致的

更改yum源

注：此yum源 为本地yum源 目的是打开HA LB RS SF等

# Main rhel6.5 server

[base]

name=Instructor Server Repository

baseurl=http://172.25.254.251/pub/rhel6.5

gpgcheck=1

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release

# HighAvailability rhel6.5

[HighAvailability]

name=Instructor HighAvailability Repository

baseurl=http://172.25.254.251/pub/rhel6.5/HighAvailability

gpgcheck=1

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release

# LoadBalancer packages

[LoadBalancer]

name=Instructor LoadBalancer Repository

baseurl=http://172.25.254.251/pub/rhel6.5/LoadBalancer

gpgcheck=1

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release

# ResilientStorage

[ResilientStorage]

name=Instructor ResilientStorage Repository

baseurl=http://172.25.254.251/pub/rhel6.5/ResilientStorage

gpgcheck=1

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release

# ScalableFileSystem

[ScalableFileSystem]

name=Instructor ScalableFileSystem Repository

baseurl=http://172.25.254.251/pub/rhel6.5/ScalableFileSystem

gpgcheck=1

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release

安装软件

heartbeat-3.0.4-2.el6.x86_64.rpm

heartbeat-libs-3.0.4-2.el6.x86_64.rpm

heartbeat-devel-3.0.4-2.el6.x86_64.rpm

ldirectord-3.9.5-3.1.x86_64.rpm

配置

[root@ty2 ~]# cd /usr/share/doc/heartbeat-3.0.4/

[root@ty2 heartbeat-3.0.4]# cp ha.cf haresources authkeys /etc/ha.d/

#将 ha.cf&haresources&authkeys 三个文件copy到/etc/ha.d 下

[root@ty2 ~]# cd /etc/ha.d

[root@ty2 ha.d]# vim ha.cf

29 logfile /var/log/ha-log

34 logfacility local0

##系统运行日志文件,此处取默认值/var/log/message， 当然也可以打开 29 行， 只是日志存放

位置会变化

48 keepalive 2 ##心跳频率,默认单位秒;ms 表示毫秒

56 deadtime 30

##节点死亡时间阀值,30s 未收到心跳就认为主节点死亡

61 warntime 10 ##发出警告时间

71 initdead 60

##守护进程首次启动后应该等待 60s 后再启动主服务器上的资源

76 udpport 739 ##心跳信息传递的 udp 端口， 默认是 694

91 bcast eth0 ##采用 udp 广播播来通知心跳

157 auto_failback on ##当主节点恢复后,是否自动切回

211 node ty2.com

##主节点名称,与 uname –n 保持一致， 先写的 node 为主节点

212 node ty3.com ##副节点名称

220 ping 192.168.63.110 ##ping 的 ip 不能是节点的 ip

253 respawn hacluster /usr/lib64/heartbeat/ipfail

##因为是 64 位操作系统， 应该把 lib 改为 lib64

259 apiauth ipfail gid=haclient uid=hacluster

- 4 -

##默认 heartbeat 并不检测除本身之外的其他任何服务,也不检测网络状况,所以当网络中断

时,并不会进行 Load Balancer 和 Backup 之间的切换。 可以通过 ipfail 插件,设置'ping nodes'

来解决这一问题,但不能使用一个集群节点作为 ping 的节点。

[root@ty2 ha.d]# vim haresources

ty2.com IPaddr::192.168.63.88/24/eth0 httpd

#**这里先使用httpd做测试 到后面安装drbd和mysql之后再进行更改**

[root@ty2 ha.d]# vim authkeys

auth 1

1 crc

[root@ty2 ha.d]# echo westos | md5sum

[root@ty2 ha.d]# chmod 600 authkeys

[root@ty2 ha.d]# scp ha.cf haresources authkeys root@192.168.63.112:/etc/ha.d/

#将更改后的 三个文件 复制到ty3 下

[root@ty2 ha.d]# /etc/init.d/heartbeat start #开启服务

ty3 也安装好之后

[root@ty3 ~]# /etc/init.d/heartbeat start

测试heartbeat

关闭ty2 的heartbeat

[root@ty3 ntp]# ip addr show

1: lo: mtu 16436 qdisc noqueue state UNKNOWN

link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

inet 127.0.0.1/8 scope host lo

inet6 ::1/128 scope host

valid_lft forever preferred_lft forever

2: eth0: mtu 1500 qdisc pfifo_fast state UP qlen 1000

link/ether 00:0c:29:36:04:10 brd ff:ff:ff:ff:ff:ff

inet 192.168.63.112/24 brd 192.168.63.255 scope global eth0

inet 192.168.63.88/24 brd 192.168.63.255 scope global secondary eth0

inet6 fe80::20c:29ff:fe36:410/64 scope link

valid_lft forever preferred_lft forever

#ty3 上出现VIP

DRBD配置

源码安装DRBD

[root@ty2 packages]# yum install -y flex

[root@ty2 packages]# tar zxf drbd-8.4.2.tar.gz

[root@ty2 packages]# cd drbd-8.4.2

[root@ty2 drbd-8.4.2]# ./configure

[root@ty2 drbd-8.4.2]# make

[root@ty2 drbd-8.4.2]# make install

下面两个软件在网上下载的=。=

[root@ty2 packages]# yum install -y drbd84-utils-8.4.2-1.el6.elrepo.x86_64.rpm

[root@ty2 packages]# yum install -y kmod-drbd84-8.4.2-1.el6_3.elrepo.x86_64.rpm

配置

vim /etc/drbd.conf

# You can find an example in /usr/share/doc/drbd.../drbd.conf.example

#include "drbd.d/global_common.conf";

#include "drbd.d/*.res";

global { usage-count yes; }

common { syncer { rate 100M; }}

resource r0 {

protocol C;

startup {

}

disk {

on-io-error detach;

#size 1G;

}

net {

}

on ty2.com {

device /dev/drbd0;

disk /dev/sdb1;

address 192.168.63.111:7898;

meta-disk internal;

}

on ty3.com {

device /dev/drbd0;

disk /dev/sdb1;

address 192.168.63.112:7898;

meta-disk internal;

} }

在硬盘上新建一个分区并格式化

fdisk /dev/sdb

fdisk -l #略去中间步骤

mkfs.ext3 /dev/sdb1

mkdir /data

mount /dev/sdb1 /data 测试能否挂载

umount /data/

scp /etc/drbd.conf root@ty3.com:/etc/

在station11和station12上初始化并启动两个系统上的 DRBD 服务:

dd if=/dev/zero bs=1M count=1 of=/dev/sdb1

drbdadm create-md r0

/etc/init.d/drbd start

drbdadm primary all(报错，执行下面操作)

0: State change failed: (-2) Need access to UpToDate data

Command 'drbdsetup 0 primary' terminated with exit code 17

drbdadm -- --overwrite-data-of-peer primary all

mkfs.ext3 /dev/drbd0

mkdir /data

mount /dev/drbd0 /data

df -h

注意：DRBD的英文全称就是Distributed Replicated Block Device(分布式块设备复制),

个人认为，说白了就是对/dev/sdb1的复制。而且Secondary节点的/dev/drbd0是不能进行挂

载的

MySQL安装

[root@ty2 ~]# drbdadm primary r0

#此时 ty2 为主设备

[root@ty2 ~]# yum install -y mysql mysql-server mysql-devel

[root@ty2 ~]# mount /dev/drbd1 /data

说明：数据库存放数据的目录是drbd分区

[root@ty2 ~]# mysql_install_db --datadir=/data/ --user=mysql

执行完以上操作后

umount /data

设置ty2为从设备

将ty3设为主设备 然后安装MySQL

[root@ty3 ~]# yum install -y mysql mysql-server mysql-devel

[root@ty3 ~]# mount /dev/drbd1 /data

说明：数据库存放数据的目录是drbd分区

[root@ty3 ~]# mysql_install_db --datadir=/data/ --user=mysql

重新卸载之后

再将ty2设为主 ty3 设为从

因为在heartbeat中 ，我们将ty2 设为了主节点

重新回到heartbeat的配置文件

[root@ty2 ~]# vim /etc/ha.d/haresources

#最后一行

ty2.com IPaddr::192.168.63.88/24/eth0 drbddisk::r0 Filesystem::/dev/drbd0::/data::ext3 mysqld

ty3和ty2 的heartbeat 配置文件以及DRBD配置文件是相同的

到此为止 配置完成

中间遇到了许多问题 都通过google 别人的解决方法得以解决