本文基于2个角度进行

1：mysql主从复制，读写分离部分

2：RHCS实现mysql-proxy、mysql-master、lvs高可用

架构图

可能会用到的yum源

http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm

http://elrepo.org/elrepo-release-6-5.el6.elrepo.noarch.rpm

系统环境：

CentOS release 6.4 (Final) 2.6.32-358.el6.x86_64

地址分配

mysql-proxy-fip：10.0.0.100

mysql-master-fip：10.0.0.101

lvs-vip：10.0.0.15

ha1:10.0.0.11

ha2:10.0.0.12

ha3:10.0.0.13

ha4:10.0.0.14

real1:10.0.0.15

real2:10.0.0.16

背景：

在数据库服务器非常繁忙的情况下，实现mysql读离分离是扩展性能的一个不错的方案，理由为以下几点

1：考虑在mysql双主中，很难保证数据一致性（mysql-mmm可以实现，但有待生产环境的考验），而且并不能提高写性能

2：在从服务器中，使用lvs为从进行负载分摊，在mysql-proxy上将读操作都指向lvs的集群地址上，能大大提高读性能

3：在这中场景中，有3个单点故障，mysql-proxy，mysql主服务器，和从服务器集群的lvs负载均衡器，这里RHCS的高可用方案解决单点故障

a：使用drbd镜像解决mysql-master的单点故障

b：使用keepalived解决lvs的单点故障

c：使用RHCS自带的L实现mysql-proxy故障的自动切换

此套方案中，将mysql-proxy 、mysql-master、lvs分别以ha4节点作为各自的故障转移域，出现服务中断后自动转移到备份主机上。

具体部署

Mysql主从部分

安装mysql-5.6.10-linux-glibc2.5-x86_64.tar.gz

在mysql-5.6版本引进了Gtid的机制，使得其复制功能的配置、监控及管理变得更加易于实现，且更加健壮。

简单说明Gtid的功能，主要实现了以下2个作用

1：从服务器到主服务器复制数据后，应用数据的时候可以启用多线程，加快复制的速度，降低主从之间的延迟。

2：通过全局事务 ID，可以自动识别上次同步的点，可以非常简单的追踪比较复制事务信息，能够实现主服务器down掉后快速恢复，甚至自动讲从服务器提升为主服务器并能保持各从服务器数据一致，可以实现mysql复制自身的ha（此文的ha基于RHCS而不使用Gtid的方式）。

配置DRBD

首先安装drbd，使用elrepo提供的yum扩展包，直接yum安装drbd

rpm -ivh http://elrepo.org/elrepo-release-6-5.el6.elrepo.noarch.rpm

在ha2，ha4上安装drbd工具包和drbd的内核模块

yum install drbd84-utils kmod-drbd84 –y

drbd全局配置

[[email protected] ~]# grep '[[:space:]]*#.*$' -v /etc/drbd.d/global_common.conf

global {

usage-countno;

}

common {

handlers{

pri-on-incon-degr"/usr/lib/drbd/notify-pri-on-incon-degr.sh;/usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ;reboot -f";

pri-lost-after-sb"/usr/lib/drbd/notify-pri-lost-after-sb.sh;/usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ;reboot -f";

local-io-error"/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh;echo o > /proc/sysrq-trigger ; halt -f";

}

startup{

}

options{

}

disk {

on-io-errordetach;

}

net {

cram-hmac-alg"sha1";

shared-secret"lust"

}

syncer{

rate1000M;

}

drbd资源配置，使用双主模型，由RHCS控制哪个节点挂载

[[email protected] ~]# cat /etc/drbd.d/mysql.res

resource mysql {

net{

protocol C;

allow-two-primaries yes;

}

startup{

become-primary-on both;

}

disk {

fencing resource-and-stonith;

}

handlers {

# Make sure the other node is confirmed

# dead after this!

outdate-peer "/sbin/kill-other-node.sh";

}

on ha2 {

device /dev/drbd0;

disk /dev/sda5;

address 10.0.0.12:7789;

meta-diskinternal;

}

on ha4 {

device /dev/drbd0;

disk /dev/sda5;

address 10.0.0.14:7789;

meta-diskinternal;

}

将配置文件复制一份到ha2，保持相同即可

ha2,ha4上分别依次执行

初始化资源

drbdadm create-md web

启动服务

service drbd start

格式化磁盘

mkfs.ext4 /dev/drbd0

安装好drbd后安装mysql数据库，并初始化mysql的时候将datadir目录指向将要挂载drbd的目录

先挂载drbd设备

mkdir /mysql/data

mount /dev/drbd0 /mysql/data/

配置mysql复制

安装mysql，具体安装过程不再列出，这里列出2个注意点

注意点1：

在ha4测试安装mysql的时候，只能在一个节点上挂载drbd设备，否则会引起文件系统崩溃

注意点2：

一定要将mysql设置为开机不启动，让RHCS来管理mysql的start和stop,这对于配置其它节点的资源也是一样的，这点下面将不再说明

master：[mysqld]（ha2和ha4保持一致，需要改动的部分看配置的中注释）

sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES

binlog-format=ROW

log-bin=master-bin

log-slave-updates=true

gtid-mode=on

enforce-gtid-consistency=true

master-info-repository=TABLE

relay-log-info-repository=TABLE

sync-master-info=1

slave-parallel-workers=2

binlog-checksum=CRC32

master-verify-checksum=1

slave-sql-verify-checksum=1

binlog-rows-query-log_events=1

server-id=1

report-port=3306

port=3306

datadir=/mysql/data

socket=/tmp/mysql.sock

report-host=ha2

real1：[mysqld]的配置

binlog-format=ROW

log-slave-updates=true

gtid-mode=on

enforce-gtid-consistency=true

master-info-repository=TABLE

relay-log-info-repository=TABLE

sync-master-info=1

slave-parallel-workers=2

binlog-checksum=CRC32

master-verify-checksum=1

slave-sql-verify-checksum=1

binlog-rows-query-log_events=1

server-id=11 #在real2上配置为12

report-port=3306

port=3306

log-bin=mysql-bin.log

datadir=/mysql/data

socket=/tmp/mysql.sock

report-host=slave1 #在real2上配置为slave2

在master上创建复制用户

mysql> GRANT REPLICATION SLAVEON *.* TO "repluser"@"10.0.0.%" IDENTIFIED BY '123456';

在slave上指定master

mysql>CHANGE MASTER TOMASTER_HOST='10.0.0.101', MASTER_USER='repluser', MASTER_PASSWORD='123456',MASTER_AUTO_POSITION=1;

启动复制进程

mysql>START SLAVE;

查看复制状态

配置mysql-proxy

先安装EPEL源，此源包含mysql-proxy的rpm包

rpm –ivh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm

安装mysql-proxy

yum install mysql-proxy –y

配置mysql-proxy

/etc/init.d/mysql-proxy启动脚本

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

#!/bin/bash

#

#
mysql-proxy This script starts and stopsthe mysql-proxy daemon

#

#
chkconfig: - 78 30

#
processname: mysql-proxy

#
description: mysql-proxy is a proxydaemon for mysql

#
Source function library.

. /etc/rc.d/init.d/functions

prog="/usr/bin/mysql-proxy"

#
Source networking configuration.

if [
-f /etc/sysconfig/network ]; then

    ./etc/sysconfig/network

fi

#
Check that networking is up.

[
${NETWORKING} = "no" ]&& exit 0

#
Set default mysql-proxy configuration.

ADMIN_USER="admin"

ADMIN_PASSWD="admin"

ADMIN_LUA_SCRIPT="/usr/lib64/mysql-proxy/lua/admin.lua"

PROXY_OPTIONS="--daemon"

PROXY_PID=/var/run/mysql-proxy.pid

PROXY_USER="mysql-proxy"

#
Source mysql-proxy configuration.

if [
-f /etc/sysconfig/mysql-proxy ]; then

    ./etc/sysconfig/mysql-proxy

fi

RETVAL=0

start()
{

   echo -n
$"Starting
$prog: "

   daemon
$prog $PROXY_OPTIONS --pid-file=$PROXY_PID--proxy-address="$PROXY_ADDRESS" --user=$PROXY_USER--admin-username="$ADMIN_USER"--admin-lua-script="$ADMIN_LUA_SCRIPT"--admin-password="$ADMIN_PASSWORD"

   RETVAL=$?

   echo

   if [
$RETVAL -eq 0
]; then

       touch /var/lock/subsys/mysql-proxy

   fi

}

stop()
{

   echo -n
$"Stopping
$prog: "

   killproc
-p $PROXY_PID -d 3 $prog

   RETVAL=$?

   echo

   if [
$RETVAL -eq 0
]; then

       rm -f /var/lock/subsys/mysql-proxy

       rm -f
$PROXY_PID

   fi

}

#
See how we were called.

case "$1" in

   start)

        start

       ;;

   stop)

       stop

       ;;

   restart)

       stop

       start

       ;;

   condrestart|try-restart)

       if status
-p $PROXY_PIDFILE $prog >&/dev/null; then

           stop

           start

       fi

       ;;

   status)

       status
-p $PROXY_PID $prog

       ;;

   *)

       echo "Usage:
$0{start|stop|restart|reload|status|condrestart|try-restart}"

       RETVAL=1

       ;;

esac

exit $RETVAL

配置参数

cat /etc/sysconfig/mysql-proxy

ADMIN_USER="admin"

ADMIN_PASSWORD="admin"

ADMIN_ADDRESS=""

ADMIN_LUA_SCRIPT="/usr/lib64/mysql-proxy/lua/admin.lua"

PROXY_ADDRESS=""

PROXY_USER="mysql-proxy"

PROXY_OPTIONS="--daemon --log-level=info--log-use-syslog --plugins=proxy --plugins=admin--proxy-backend-addresses=10.0.0.101:3306--proxy-read-only-backend-addresses=10.0.0.15:3306--proxy-lua-script=/usr/lib64/mysql-proxy/lua/proxy/balance.lua"

在ha4上也用相同的方式部署mysql-proxy

LVS的安装

LVS对mysql从服务器进行读操作的负载均衡，对于lvs的高可用，由于keepalived比较轻量级，所以直接使用keepalived来实现，这里keepalived只是为了方便通过启动keepalived应用ipvs规则，所以并直接配置一个keepalived主，然后用RHCS实现keepalived的高可用，而不是keepalived自身的vrrp实现高可用

安装keepalived

yum install keepalived –y

配置文件

cat /etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {

notification_email {

[email protected]

}

notification_email_from root

smtp_server127.0.0.1

smtp_connect_timeout 30

router_idLVS_DEVEL

}

vrrp_instance VI_1 {

stateMASTER

interfaceeth0

virtual_router_id 51

priority100

advert_int1

authentication{

auth_type PASS

auth_pass lust

}

virtual_ipaddress {

10.0.0.15

}

virtual_server 10.0.0.15 443 {

delay_loop6

lb_algo wlc

lb_kind DR

nat_mask255.255.255.0

persistence_timeout 50

protocolTCP

real_server10.0.0.21 3306 {

weight1

TCP_CHECK {

connect_timeout 3

nb_get_retry 3

delay_before_retry 3

connect_port 3306

}

real_server10.0.0.22 3306 {

weight 1

TCP_CHECK {

connect_timeout 3

nb_get_retry 3

delay_before_retry 3

connect_port 3306

}

在每个mysql-slave的real服务器创建tc/init.d/rs，内容如下

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

#!/bin/bash

#

#
Script to start LVS DR real server.

#
description: LVS DR real server

#

. /etc/rc.d/init.d/functions

VIP=10.0.0.15

host=`/bin/hostname`

case "$1" in

start)

       #
StartLVS-DR real server on this machine.

       /sbin/ifconfig lo
down

       /sbin/ifconfig lo
up

        echo 1> /proc/sys/net/ipv4/conf/lo/arp_ignore

        echo 2> /proc/sys/net/ipv4/conf/lo/arp_announce

        echo 1> /proc/sys/net/ipv4/conf/all/arp_ignore

        echo 2> /proc/sys/net/ipv4/conf/all/arp_announce

       /sbin/ifconfig lo:0
$VIP broadcast $VIP netmask 255.255.255.255 up

        /sbin/route add
-host $VIP dev lo:0

;;

stop)

        #
StopLVS-DR real server loopback device(s).

       /sbin/ifconfig lo:0
down

        echo 0> /proc/sys/net/ipv4/conf/lo/arp_ignore

        echo 0> /proc/sys/net/ipv4/conf/lo/arp_announce

        echo 0> /proc/sys/net/ipv4/conf/all/arp_ignore

        echo 0> /proc/sys/net/ipv4/conf/all/arp_announce

;;

status)

        #Status
of LVS-DR real server.

       islothere=`/sbin/ifconfig lo:0
| grep $VIP`

       isrothere=`netstat -rn
| grep "lo:0" | grep $VIP`

        if [
!"$islothere" -o
! "isrothere" ];then

            #Either
the route or the lo:0 device

            #not
found.

           echo "LVS-DR
real server Stopped."

        else

           echo "LVS-DR
real server Running."

        fi

;;

*)

            #Invalid
entry.

           echo "$0:
Usage: $0 {start|status|stop}"

           exit 1

;;

esac