haproxy+keepalived+nginx(源码)

软件介绍

HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案，适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中，同时可以保护你的web服务器不被暴露到网络上。

keepalived可提供vrrp以及health-check功能，可以只用它提供双机浮动的vip（vrrp虚拟路由功能），这样可以简单实现一个双机热备高可用功能，类似于layer3, 4 & 5交换机制的软件，也就是我们平时说的第3层、第4层和第5层交换，作用是检测web服务器的状态，如果有一台web服务器死机，或工作出现故障，Keepalived将检测到，并将有故障的web服务器从系统中剔除，当 web服务器工作正常后Keepalived自动将web服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的 web服务器

实验环境

keepalived+Haproxy 192.168.40.144

keepalived+Haproxy 192.168.40.135

vip: 192.168.40.100

web01: 192.168.40.144:80

web02: 192.168.40.135:80

操作

1.安装Keepalived

[[email protected] ~]# cd /usr/local/src/;wget http://www.keepalived.org/software/keepalived-1.2.15.tar.gz

[[email protected] src]# tar zxvf keepalived-1.2.15.tar.gz 
[[email protected] keepalived-1.2.15]# ./configure --prefix=/usr/local/keepalived-1.2.15
.....
configure: error: 
  !!! OpenSSL is not properly installed on your system. !!!
  !!! Can not include OpenSSL headers files.            !!!
[[email protected] keepalived-1.2.15]# yum -y install openssl-devel  
[[email protected] keepalived-1.2.15]# ./configure --prefix=/usr/local/keepalived-1.2.15
....编译安装成功
Keepalived configuration
------------------------
Keepalived version       : 1.2.15
Compiler                 : gcc
Compiler flags           : -g -O2
Extra Lib                : -lssl -lcrypto -lcrypt 
Use IPVS Framework       : Yes
IPVS sync daemon support : Yes
IPVS use libnl           : No
fwmark socket support    : Yes
Use VRRP Framework       : Yes
Use VRRP VMAC            : Yes
SNMP support             : No
SHA1 support             : No
Use Debug flags          : No
[[email protected] keepalived-1.2.15]# make && make install
[[email protected] ~]# cp /usr/local/keepalived-1.2.15/etc/rc.d/init.d/keepalived /etc/init.d/keepalived
[[email protected] ~]# cp /usr/local/keepalived-1.2.15/sbin/keepalived /usr/sbin/
[[email protected] ~]# cp /usr/local/keepalived-1.2.15/etc/sysconfig/keepalived /etc/sysconfig/
[[email protected] ~]# mkdir -v /etc/keepalived
mkdir: created directory `/etc/keepalived'
[[email protected] ~]# cp /usr/local/keepalived-1.2.15/etc/keepalived/keepalived.conf /etc/keepalived/
[[email protected] ~]# chmod a+x /etc/init.d/keepalived 
[[email protected] ~]# chkconfig --add /etc/init.d/keepalived 
[[email protected] ~]# cat /etc/keepalived/keepalived.conf 
! Configuration File for keepalived

global_defs {
   notification_email {
     [email protected]
   }
   notification_email_from [email protected]
   smtp_server 192.168.40.144
   smtp_connect_timeout 30
   router_id HAPROXY_MASTER
}

vrrp_script chk_haproxy {                                         
        script "/usr/local/keepalived-1.2.15/check_haproxy.sh"        
        interval 2                                                 
        weight 2                                                
    }

vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 51
    priority 101
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }

track_script {                                                     
        chk_haproxy
        }

    virtual_ipaddress {
        192.168.40.100
    }
}

检测脚本

#!/bin/bash
if [ $(ps -C haproxy --no-header | wc -l) -eq 0 ]; then
     /etc/init.d/haproxy  start
echo "haproxy start"
fi
sleep 2
if [ $(ps -C haproxy --no-header | wc -l) -eq 0 ]; then
       /etc/init.d/keepalived stop
echo "keepalived stop"
fi

2.安装Haproxy

[[email protected] src]wget http://haproxy.1wt.eu/download/1.4/src/haproxy-1.4.24.tar.gz
[[email protected] src]# tar zxvf haproxy-1.4.24.tar.gz
[[email protected] haproxy-1.4.24]# make TARGET=linux26 ARCH=x84_64 PREFIX=/usr/local/haproxy-1.4.24
[[email protected] haproxy-1.4.24]# make install PREFIX=/usr/local/haproxy-1.4.24
[[email protected] haproxy-1.4.24]# mkdir /etc/haproxy
[[email protected] haproxy-1.4.24]# cp examples/haproxy.cfg /etc/haproxy/
[[email protected] haproxy-1.4.24]# cp examples/haproxy.init /etc/init.d/haproxy
[[email protected] haproxy-1.4.24]# ln -svf /usr/local/haproxy-1.4.24/sbin/haproxy /usr/sbin/haproxy
`/usr/sbin/haproxy' -> `/usr/local/haproxy-1.4.24/sbin/haproxy'
[[email protected] haproxy-1.4.24]# chmod a+x /etc/init.d/haproxy 
[[email protected] haproxy-1.4.24]# chkconfig --add haproxy
[[email protected] haproxy-1.4.24]# chkconfig haproxy on
[[email protected] haproxy-1.4.24]# chkconfig --list haproxy
haproxy            0:off    1:off    2:on    3:on    4:on    5:on    6:off
[[email protected] haproxy]# cat haproxy.cfg
# this config needs haproxy-1.1.28 or haproxy-1.2.1

global
    log 127.0.0.1    local2
    #log loghost    local0 info
    maxconn 4096
    chroot /usr/local/haproxy-1.4.24
    uid 99
    gid 99
    #user haproxy
    #group haproxy
    daemon
    #debug
    #quiet
    nbproc 1
    pidfile /usr/local/haproxy-1.4.24/haproxy.pid

defaults
    log    global
    mode    http
    option    httplog
    option    dontlognull
    option    redispatch
    option    forwardfor
    retries    3
    maxconn    2000
    contimeout    5000
    clitimeout    50000
    srvtimeout    50000

listen stats
    stats enable
    mode http
    bind 192.168.40.144:80
    stats uri /haproxy-status
    stats auth haproxy:123.com
    stats hide-version
    stats realm no\ entrance 

frontend web
    bind *:80
    mode http
    option httplog
    log global
    default_backend web_nginx        

backend    web_nginx
    option forwardfor header wm-client-ip    #设置wm-client-ip变量http头将客户端IP传递到nginx中
    balance roundrobin
    server web-node1  192.168.40.144:8888 check inter 3000 rise 5 fall 5
    server web-node2  192.168.40.135:8888 check inter 3000 rise 5 fall 5

登陆状态页面

状态信息

Haproxy配置文件说明

来源http://www.linuxidc.com/Linux/2012-07/65350.htm

		####################全局配置信息######################## 
#######参数是进程级的，通常和操作系统（OS）相关######### 
global 
maxconn 20480                   #默认最大连接数 
log 127.0.0.1 local3            #[err warning info debug] 
chroot /var/haproxy             #chroot运行的路径 
uid 99                          #所属运行的用户uid 
gid 99                          #所属运行的用户组 
daemon                          #以后台形式运行haproxy 
nbproc 1                        #进程数量(可以设置多个进程提高性能) 
pidfile /var/run/haproxy.pid    #haproxy的pid存放路径,启动进程的用户必须有权限访问此文件 
ulimit-n 65535                  #ulimit的数量限制 

				 

				 
#####################默认的全局设置###################### 
##这些参数可以被利用配置到frontend，backend，listen组件## 
defaults 
log global 
mode http                       #所处理的类别 (#7层 http;4层tcp ) 
maxconn 20480                   #最大连接数 
option httplog                  #日志类别http日志格式 
option httpclose                #每次请求完毕后主动关闭http通道 
option dontlognull              #不记录健康检查的日志信息 
option forwardfor               #如果后端服务器需要获得客户端真实ip需要配置的参数，可以从Http Header中获得客户端ip 
option redispatch               #serverId对应的服务器挂掉后,强制定向到其他健康的服务器 
option abortonclose             #当服务器负载很高的时候，自动结束掉当前队列处理比较久的连接 
stats refresh 30                #统计页面刷新间隔 
retries 3                       #3次连接失败就认为服务不可用，也可以通过后面设置 
balance roundrobin              #默认的负载均衡的方式,轮询方式 
#balance source                  #默认的负载均衡的方式,类似nginx的ip_hash 
#balance leastconn               #默认的负载均衡的方式,最小连接 
contimeout 5000                 #连接超时 
clitimeout 50000                #客户端超时 
srvtimeout 50000                #服务器超时 
timeout check 2000              #心跳检测超时 

				 
####################监控页面的设置####################### 
listen admin_status                    #Frontend和Backend的组合体,监控组的名称，按需自定义名称 
bind 0.0.0.0:65532             #监听端口 
mode http                      #http的7层模式 
log 127.0.0.1 local3 err       #错误日志记录 
stats refresh 5s               #每隔5秒自动刷新监控页面 
stats uri /admin?stats         #监控页面的url 
stats realm itnihao\ itnihao   #监控页面的提示信息 
stats auth admin:admin         #监控页面的用户和密码admin,可以设置多个用户名 
stats auth admin1:admin1       #监控页面的用户和密码admin1 
stats hide-version             #隐藏统计页面上的HAproxy版本信息 
stats admin if TRUE            #手工启用/禁用,后端服务器(haproxy-1.4.9以后版本) 

				 

				 
errorfile 403 /etc/haproxy/errorfiles/403.http 

errorfile 500 /etc/haproxy/errorfiles/500.http 

errorfile 502 /etc/haproxy/errorfiles/502.http 

errorfile 503 /etc/haproxy/errorfiles/503.http 

errorfile 504 /etc/haproxy/errorfiles/504.http 

				 

#################HAProxy的日志记录内容设置################### 

capture request  header Host           len 40 

capture request  header Content-Length len 10 

capture request  header Referer        len 200 

capture response header Server         len 40 

capture response header Content-Length len 10 

capture response header Cache-Control  len 8 

				     

#######################网站监测listen配置##################### 

###########此用法主要是监控haproxy后端服务器的监控状态############ 

listen site_status 

bind 0.0.0.0:1081                    #监听端口 

mode http                            #http的7层模式 

log 127.0.0.1 local3 err             #[err warning info debug] 

monitor-uri /site_status             #网站健康检测URL，用来检测HAProxy管理的网站是否可以用，正常返回200，不正常返回503 

acl site_dead nbsrv(server_web) lt 2 #定义网站down时的策略当挂在负载均衡上的指定backend的中有效机器数小于1台时返回true 

acl site_dead nbsrv(server_blog) lt 2 

acl site_dead nbsrv(server_bbs) lt 2 

monitor fail if site_dead            #当满足策略的时候返回503，网上文档说的是500，实际测试为503 

monitor-net 192.168.16.2/32          #来自192.168.16.2的日志信息不会被记录和转发 

monitor-net 192.168.16.3/32 

				 

########frontend配置############ 

#####注意，frontend配置里面可以定义多个acl进行匹配操作######## 

frontend http_80_in 

bind 0.0.0.0:80      #监听端口，即haproxy提供web服务的端口，和lvs的vip端口类似 

mode http            #http的7层模式 

log global           #应用全局的日志配置 

option httplog       #启用http的log 

option httpclose     #每次请求完毕后主动关闭http通道，HA-Proxy不支持keep-alive模式 

option forwardfor    #如果后端服务器需要获得客户端的真实IP需要配置次参数，将可以从Http Header中获得客户端IP 

########acl策略配置############# 

 acl itnihao_web hdr_reg(host) -i ^(www.itnihao.cn|ww1.itnihao.cn)$ 

#如果请求的域名满足正则表达式中的2个域名返回true -i是忽略大小写 

acl itnihao_blog hdr_dom(host) -i blog.itnihao.cn 

#如果请求的域名满足www.itnihao.cn返回true -i是忽略大小写 

#acl itnihao    hdr(host) -i itnihao.cn 

#如果请求的域名满足itnihao.cn返回true -i是忽略大小写 

#acl file_req url_sub -i  killall= 

#在请求url中包含killall=，则此控制策略返回true,否则为false 

#acl dir_req url_dir -i allow 

#在请求url中存在allow作为部分地址路径，则此控制策略返回true,否则返回false 

#acl missing_cl hdr_cnt(Content-length) eq 0 

#当请求的header中Content-length等于0时返回true 

				 

########acl策略匹配相应############# 

#block if missing_cl 

#当请求中header中Content-length等于0阻止请求返回403 

#block if !file_req || dir_req 

#block表示阻止请求，返回403错误，当前表示如果不满足策略file_req，或者满足策略dir_req，则阻止请求 

 use_backend  server_web if itnihao_web 

#当满足itnihao_web的策略时使用server_web的backend 

 use_backend  server_blog if itnihao_blog 

#当满足itnihao_blog的策略时使用server_blog的backend 

#redirect prefix http://blog.itniaho.cn code 301 if itnihao 

#当访问itnihao.cn的时候，用http的301挑转到http://192.168.16.3 

default_backend server_bbs 

#以上都不满足的时候使用默认server_bbs的backend 

				 

				 

##########backend的设置############## 

#下面我将设置三组服务器 server_web，server_blog，server_bbs

##################backend server_web####################

backend server_web 

mode http            #http的7层模式 

balance roundrobin   #负载均衡的方式，roundrobin平均方式 

cookie SERVERID      #允许插入serverid到cookie中，serverid后面可以定义 

option httpchk GET /index.html #心跳检测的文件 

server web1 192.168.16.2:80 cookie web1 check inter 1500 rise 3 fall 3 weight 1 

#服务器定义，cookie 1表示serverid为web1，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用， 

#fall 3是3次失败认为服务器不可用，weight代表权重 

server web2 192.168.16.3:80 cookie web2 check inter 1500 rise 3 fall 3 weight 2 

#服务器定义，cookie 1表示serverid为web2，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用， 

#fall 3是3次失败认为服务器不可用，weight代表权重 

				 

###################backend server_blog######################

backend server_blog 

 mode http            #http的7层模式 

balance roundrobin   #负载均衡的方式，roundrobin平均方式 

cookie SERVERID      #允许插入serverid到cookie中，serverid后面可以定义 

option httpchk GET /index.html #心跳检测的文件 

server blog1 192.168.16.2:80 cookie blog1 check inter 1500 rise 3 fall 3 weight 1 

#服务器定义，cookie 1表示serverid为blog1，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用，fall 3是3次失败认为服务器不可用，weight代表权重 

server blog2 192.168.16.3:80 cookie blog2 check inter 1500 rise 3 fall 3 weight 2 

#服务器定义，cookie 1表示serverid为blog2，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用，fall 3是3次失败认为服务器不可用，weight代表权重 

				 

##################backend server_bbs######################## 

				 

backend server_bbs 

 mode http            #http的7层模式 

 balance roundrobin   #负载均衡的方式，roundrobin平均方式 

 cookie SERVERID      #允许插入serverid到cookie中，serverid后面可以定义 

 option httpchk GET /index.html #心跳检测的文件 

 server bbs1 192.168.16.2:80 cookie bbs1 check inter 1500 rise 3 fall 3 weight 1 

 #服务器定义，cookie 1表示serverid为bbs1，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用，fall 3是3次失败认为服务器不可用，weight代表权重 

server bbs2 192.168.16.3:80 cookie bbs2 check inter 1500 rise 3 fall 3 weight 2 

#服务器定义，cookie 1表示serverid为bbs2，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用，fall 3是3次失败认为服务器不可用，weight代表权重

3.修改本地日志格式

# yum install rsyslog
[[email protected] ~]#  grep -v ^\# /etc/rsyslog.conf|sed '/^$/d'
$ModLoad imuxsock # provides support for local system logging (e.g. via logger command)
$ModLoad imklog   # provides kernel logging support (previously done by rklogd)
$ModLoad imudp
$UDPServerRun 514
$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat
$IncludeConfig /etc/rsyslog.d/*.conf
*.info;mail.none;authpriv.none;cron.none;local2.none                /var/log/messages
authpriv.*                                              /var/log/secure
mail.*                                                  -/var/log/maillog
cron.*                                                  /var/log/cron
*.emerg                                                 *
uucp,news.crit                                          /var/log/spooler
local7.*                                                /var/log/boot.log
local2.*                                                /var/log/haproxy.log
[[email protected] ~]# /etc/init.d/rsyslog restart
Shutting down system logger:                               [  OK  ]
Starting system logger:                                    [  OK  ]

4.安装nginx

[[email protected] src]# yum -y install zlib zlib-devel openssl openssl-devel pcre-devel gcc gcc-c++
[[email protected] src]# wget http://softlayer-sng.dl.sourceforge.net/project/pcre/pcre/8.36/pcre-8.36.tar.gz
[[email protected] src]# tar zxvf pcre-8.36.tar.gz
[[email protected] pcre-8.36]# ./configure && make && make install
[[email protected] pcre-8.36]# useradd -s /sbin/nologin nginx
[[email protected] src]# wget 
[[email protected] src]# tar zxvf nginx-1.6.2.tar.gz 
[[email protected] nginx-1.6.2]# ./configure --prefix=/usr/local/nginx-1.6.2 --user=nginx --group=nginx  
--with-http_stub_status_module  --with-http_sub_module  --with-http_ssl_module  --with-pcre=/usr/local/src/pcre-8.36 
--with-http_gzip_static_module
[[email protected] conf]# cat /usr/local/nginx-1.6.2/conf/nginx.conf

#user  nobody;
worker_processes  1;
events {
    worker_connections  1024;
}


    http {
        include       mime.types;
        default_type  application/octet-stream;
        sendfile        on;
        keepalive_timeout  65;
        log_format  subuy  '$remote_addr $http_wm_client_ip [$time_local] "$request" '
                        '$status $body_bytes_sent $request_time "$http_referer" '
                                                '"$http_user_agent"';
    server {
        listen       8888;
        server_name  www.server02.com;
        #charset koi8-r;
        access_log  logs/host.access.log subuy;
    error_log  logs/error.log  info;
        location / {
            root   html;
            index  index.html index.htm;
        }
        #error_page  404              /404.html;
        # redirect server error pages to the static page /50x.html
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
                     }
    }
}

查看nginx访问日志

192.168.40.144 192.168.40.1 [19/Mar/2015:03:14:23 -0700] "GET / HTTP/1.1" 200 643 0.000 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:35.0) Gecko/20100101 Firefox/35.0"
192.168.40.144 192.168.40.1 [19/Mar/2015:03:14:23 -0700] "GET / HTTP/1.1" 200 643 0.000 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:35.0) Gecko/20100101 Firefox/35.0"
192.168.40.144 192.168.40.1 [19/Mar/2015:03:14:23 -0700] "GET / HTTP/1.1" 200 643 0.000 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:35.0) Gecko/20100101 Firefox/35.0"
192.168.40.144 192.168.40.1 [19/Mar/2015:03:14:23 -0700] "GET / HTTP/1.1" 200 643 0.000 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:35.0) Gecko/20100101 Firefox/35.0"
192.168.40.144 192.168.40.1 [19/Mar/2015:03:14:24 -0700] "GET / HTTP/1.1" 200 643 0.000 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:35.0) Gecko/20100101 Firefox/35.0"

http://pynliu.blog.51cto.com/5027391/1619400

http://bbotte.blog.51cto.com/6205307/1606877

http://siriusz.blog.51cto.com/8150455/1368188

转载于:https://blog.51cto.com/kaibinyuan/1621488

haproxy+keepalived+nginx(源码)

相关推荐