集群、负载均衡以及Linux系统上Nginx的搭建
1集群概述
2.1什么是集群
2.1.1集群概念
集群是一种计算机系统， 它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。在某种意义上，他们可以被看作是一台计算机。集群系统中的单个计算机通常称为节点，通常通过局域网连接，但也有其它的可能连接方式。集群计算机通常用来改进单个计算机的计算速度和/或可靠性。一般情况下集群计算机比单个计算机，比如工作站或超级计算机性能价格比要高得多。
2.1.2集群的特点
集群拥有以下两个特点：
1. 可扩展性：集群的性能不限制于单一的服务实体，新的服务实体可以动态的添加到集群，从而增强集群的性能。
2. 高可用性：集群当其中一个节点发生故障时，这台节点上面所运行的应用程序将在另一台节点被自动接管，消除单点故障对于增强数据可用性、可达性和可靠性是非常重要的。
2.1.3集群的两大能力
集群必须拥有以下两大能力：
1. 负载均衡：负载均衡把任务比较均匀的分布到集群环境下的计算和网络资源，以提高数据吞吐量。
2. 错误恢复：如果集群中的某一台服务器由于故障或者维护需要无法使用，资源和应用程序将转移到可用的集群节点上。这种由于某个节点的资源不能工作，另一个可用节点中的资源能够透明的接管并继续完成任务的过程，叫做错误恢复。
负载均衡和错误恢复要求各服务实体中有执行同一任务的资源存在，而且对于同一任务的各个资源来说，执行任务所需的信息视图必须是相同的。
2.2集群与分布式的区别
说到集群，可能大家会立刻联想到另一个和它很相近的一个词----“分布式”。那么集群和分布式是一回事吗？有什么联系和区别呢?
相同点：
分布式和集群都是需要有很多节点服务器通过网络协同工作完成整体的任务目标。
不同点：
分布式是指将业务系统进行拆分，即分布式的每一个节点都是实现不同的功能。而集群每个节点做的是同一件事情。
如下图，每个人都有不同的分工，一起协作干一件事，叫做“分布式”
再看下图：每个划桨人干的都是一样的活，叫做集群。
分布式的每一个节点也可以做成集群。其实这个赛龙舟的图，总整体来看属于分布式,包括打鼓和划桨两个分布式节点，而划桨的节点又是集群的形态。
现实生活中例子还有很多，例如，这样古代乐队的图就属于集群
而现代乐队这样图就是分布式啦
1 负载均衡是什么？
由于目前现有网络的各个核心部分随着业务量的提高，访问量和数据流量的快速增长，其处理能力和计算强度也相应地增大，使得单一的服务器设备根本无法承担。在此情况下，如果扔掉现有设备去做大量的硬件升级，这样将造成现有资源的浪费，而且如果再面临下一次业务量的提升时，这又将导致再一次硬件升级的高额成本投入，甚至性能再卓越的设备也不能满足当前业务量增长的需求。
针对此情况而衍生出来的一种廉价有效透明的方法以扩展现有网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性的技术就是负载均衡（Load Balance）。
2 负载均衡的种类？
1）一种是通过硬件来进行解决，常见的硬件有NetScaler、F5、Radware和Array等商用的负载均衡器，但是它们是比较昂贵的
2）一种是通过软件来进行解决的，常见的软件有LVS、Nginx、apache等,它们是基于Linux系统并且开源的负载均衡策略.
2.1 什么是Apache + JK?
Apache是世界使用排名第一的Web服务器软件。它可以运行在几乎所有广泛使用的计算机平台上，由于其跨平台和安全性被广泛使用，是最流行的Web服务器端软件
JK是apache提供的一款为解决大量请求而分流处理的开源插件
1.1 什么是nginx?
Nginx（发音同 engine x）是一款轻量级的Web 服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器，并在一个BSD-like 协议下发行。由俄罗斯的程序设计师Igor Sysoev(伊戈尔·西索夫)所开发，供俄国大型的入口网站及搜索引擎Rambler(漫步者)（俄文：Рамблер）使用。其特点是占有内存少，并发能力强，事实上nginx的并发能力确实在同类型的网页服务器中表现较好，*使用nginx网站用户有：新浪、网易、 腾讯等。
优点：
1:可运行linux,并有 Windows 移植版。
2:在高连接并发的情况下，Nginx是Apache服务器不错的替代品Nginx在美国是做虚拟主机生意的老板们经常选择的软件平台之一。能够支持高达 50,000 个并发连接数的响应
1.2 什么是LVS?
LVS的英文全称是Linux Virtual Server，即Linux虚拟服务器。它是我们国家的章文嵩博士的一个开源项目。在linux内核2.6中，它已经成为内核的一部分，在此之前的内核版本则需要重新编译内核。
3 负载均衡工作原理
1、 转发功能
2、 故障移除
3、 恢复添加
4、 备机
4 准备环境 （搭建Nginx）
CentOS01 + tomcat + nginx + keepalived （主）
CentOS02 + tomcat + nginx + keepalived （备）
4.1 Centos机器及Nginx的资料
4.2 以Centos为模板、复制二份
4.3 关闭防火墙
命令:
service iptables stop 临时关闭防火墙
chkconfig iptables off 防火墙开启不启动
service iptables status 查看防火墙状态
chkconfig 查看开机启动服务列表
5 nginx安装
5.1 下载
进入http://nginx.org/en/download.html 下载nginx1.8.0版本（当前最新稳定版本）。
5.2 nginx安装环境
nginx是C语言开发，建议在linux上运行，本教程使用Centos6.5作为安装环境。
n gcc
安装nginx需要先将官网下载的源码进行编译，编译依赖gcc环境，如果没有gcc环境，需要安装gcc：
yum –y install gcc-c++
n PCRE
PCRE(Perl Compatible Regular Expressions)是一个Perl库，包括 perl 兼容的正则表达式库。nginx的http模块使用pcre来解析正则表达式，所以需要在linux上安装pcre库。
yum install -y pcre pcre-devel
注：pcre-devel是使用pcre开发的一个二次开发库。nginx也需要此库。
n zlib
zlib库提供了很多种压缩和解压缩的方式，nginx使用zlib对http包的内容进行gzip，所以需要在linux上安装zlib库。
yum install -y zlib zlib-devel
n openssl
OpenSSL 是一个强大的安全套接字层密码库，囊括主要的密码算法、常用的**和证书封装管理功能及SSL协议，并提供丰富的应用程序供测试或其它目的使用。
nginx不仅支持http协议，还支持https（即在ssl协议上传输http），所以需要在linux安装openssl库。
yum install -y openssl openssl-devel
5.3 编译安装
将nginx-1.8.0.tar.gz拷贝至linux服务器。
解压：
tar -zxvf nginx-1.8.0.tar.gz –C /usr/local/src
cd /usr/local/nginx-1.8.0
1、 Configure
注意：进入nginx的解压目录下执行该脚本。
./configure --help查询详细参数（参考本教程附录部分：nginx编译参数）
参数设置如下：
|
./configure \ --prefix=/usr/local/nginx \ --pid-path=/var/run/nginx/nginx.pid \ --lock-path=/var/lock/nginx.lock \ --error-log-path=/var/log/nginx/error.log \ --http-log-path=/var/log/nginx/access.log \ --with-http_gzip_static_module \ --http-client-body-temp-path=/var/temp/nginx/client \ --http-proxy-temp-path=/var/temp/nginx/proxy \ --http-fastcgi-temp-path=/var/temp/nginx/fastcgi \ --http-uwsgi-temp-path=/var/temp/nginx/uwsgi \ --http-scgi-temp-path=/var/temp/nginx/scgi |
注意：上边将临时文件目录指定为/var/temp/nginx，需要在/var下创建temp及nginx目录
mkdir -p /var/temp/nginx
2、 编译安装
make
make install
安装成功查看安装目录 ：
5.4 启动nginx
cd /usr/local/nginx/sbin/
./nginx
查询nginx进程：
15098是nginx主进程的进程id，15099是nginx工作进程的进程id
注意：执行./nginx启动nginx，这里可以-c指定加载的nginx配置文件，如下：
./nginx -c /usr/local/nginx/conf/nginx.conf
如果不指定-c，nginx在启动时默认加载/usr/local/nginx/conf/nginx.conf文件，此文件的地址也可以在编译安装nginx时指定./configure的参数（--conf-path= 指向配置文件（nginx.conf））
5.5 停止nginx
方式1，快速停止：
cd /usr/local/nginx/sbin
./nginx -s stop
此方式相当于先查出nginx进程id再使用kill命令强制杀掉进程。
方式2，完整停止(建议使用)：
cd /usr/local/nginx/sbin
./nginx -s quit
此方式停止步骤是待nginx进程处理任务完毕进行停止。
5.6 重启nginx
方式1，先停止再启动（建议使用）：
对nginx进行重启相当于先停止nginx再启动nginx，即先执行停止命令再执行启动命令。
如下：
./nginx -s quit
./nginx
方式2，重新加载配置文件：
当nginx的配置文件nginx.conf修改后，要想让配置生效需要重启nginx，使用-s reload不用先停止nginx再启动nginx即可将配置信息在nginx中生效，如下：
./nginx -s reload
5.7 安装测试
nginx安装成功，启动nginx，即可访问虚拟机上的nginx：
5.8 Nginx虚拟主机
早期图片访问用的Nginx
5.9 Nginx反向代理服务器
Conf/nginx.conf
进入nginx/conf目录下，修改nginx.conf配置文件。
|
upstream tomcat_server{ server 192.168.200.128:8080; } proxy_pass http://tomcat_server;
|
5.10 Nginx负载均衡服务器
|
upstream tomcat_server{ server 192.168.200.130:8080 weight=10; server 192.168.200.148:8080 weight=20; } |
6 Keepalived高可用解决方案
6.1 什么是keepalived
keepalived是集群管理中保证集群高可用的一个服务软件，用来防止单点故障。
Keepalived的作用是检测web服务器的状态，如果有一台web服务器死机，或工作出现故障，Keepalived将检测到，并将有故障的web服务器从系统中剔除，当web服务器工作正常后Keepalived自动将web服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的web服务器。
6.2 安装keepalived---主机
6.2.1 上传RPM
略
6.2.2 安装Keepalived软件
rpm -ivh keepalived-1.2.13-5.el6_6.i686.rpm
6.2.3 查看安装路径
rpm -ql keepalived
6.2.4 配置虚拟IP---vip
编辑 keepalived.conf配置文件。
1、 清空配置文件
2、 添加配置信息
|
! Configuration File for keepalived
#全局配置 global_defs { notification_email { #指定keepalived在发生切换时需要发送email到的对象，一行一个 } notification_email_from [email protected] #指定发件人 #smtp_server XXX.smtp.com #指定smtp服务器地址 #smtp_connect_timeout 30 #指定smtp连接超时时间 router_id LVS_DEVEL #运行keepalived机器的一个标识 }
vrrp_instance VI_1 { state MASTER #标示状态为MASTER 备份机为BACKUP interface eth0 #设置实例绑定的网卡 virtual_router_id 51 #同一实例下virtual_router_id必须相同 priority 100 #MASTER权重要高于BACKUP 比如BACKUP为99 advert_int 1 #MASTER与BACKUP负载均衡器之间同步检查的时间间隔，单位是秒 authentication { #设置认证 auth_type PASS #主从服务器验证方式 auth_pass 8888 } virtual_ipaddress { #设置vip 192.168.200.100 #可以多个虚拟IP，换行即可 192.168.200.101 } } |
6.2.5 启动、停止服务
1、 启动keepalived
2、 停止keepalived
6.2.6 查看VIP
6.2.7 访问
6.3 安装keepalived---备机
6.3.1 安装过程
略
6.3.2 修改keepalived.conf配置文件
|
! Configuration File for keepalived
#全局配置 global_defs { notification_email { #指定keepalived在发生切换时需要发送email到的对象，一行一个 } notification_email_from [email protected] #指定发件人 #smtp_server XXX.smtp.com #指定smtp服务器地址 #smtp_connect_timeout 30 #指定smtp连接超时时间 router_id LVS_DEVEL #运行keepalived机器的一个标识 }
vrrp_instance VI_1 { state BACKUP #标示状态为MASTER 备份机为BACKUP interface eth0 #设置实例绑定的网卡 virtual_router_id 51 #同一实例下virtual_router_id必须相同 priority 88 #MASTER权重要高于BACKUP 比如BACKUP为99 advert_int 1 #MASTER与BACKUP负载均衡器之间同步检查的时间间隔，单位是秒 authentication { #设置认证 auth_type PASS #主从服务器验证方式 auth_pass 8888 } virtual_ipaddress { #设置vip 192.168.200.100 #可以多个虚拟IP，换行即可 192.168.200.101 } } |
6.3.3 修改nginx/conf目录下nginx.conf
6.3.4 查看VIP
主机的keepalived正常运行时，备机的keepalived不工作，只有主机的keepalived宕机后，备机才接管服务。
6.4 nginx与keepalived不同时存在问题
6.4.1 场景
当主机、备机的keepalived都正常时，而主机的nginx挂掉，那么此时我们就不能正常访问了。因为这时请求还是经过主机的keepalived，而keepalived不知道主机宕机，所以，此时应该让主机的keepalived挂掉，从而备机接管服务。
6.4.2 在keepalived目录下创建脚本
在主机上创建:
touch check_nginx.sh
6.4.3 编辑脚本
|
#!/bin/bash # 如果进程中没有nginx则将keepalived进程kill掉 A=`ps -C nginx --no-header |wc -l` ## 查看是否有 nginx进程 把值赋给变量A if [ $A -eq 0 ];then ## 如果没有进程值得为 零 service keepalived stop ## 则结束 keepalived 进程 fi |
6.4.4 设置脚本的执行权限
chmod 777 check_nginx.sh
6.4.5 编辑keepalived.conf
|
#全局配置 global_defs { notification_email { #指定keepalived在发生切换时需要发送email到的对象，一行一个 } notification_email_from [email protected] #指定发件人 #smtp_server XXX.smtp.com #指定smtp服务器地址 #smtp_connect_timeout 30 #指定smtp连接超时时间 router_id LVS_DEVEL #运行keepalived机器的一个标识 } vrrp_script check_nginx { script "/etc/keepalived/check_nginx.sh" ##监控脚本 interval 2 ##时间间隔，2秒 weight 2 ##权重 } vrrp_instance VI_1 { state MASTER #标示状态为MASTER 备份机为BACKUP interface eth0 #设置实例绑定的网卡 virtual_router_id 51 #同一实例下virtual_router_id必须相同 priority 100 #MASTER权重要高于BACKUP 比如BACKUP为99 advert_int 1 #MASTER与BACKUP负载均衡器之间同步检查的时间间隔，单位是秒 authentication { #设置认证 auth_type PASS #主从服务器验证方式 auth_pass 8888 } track_script { check_nginx #监控脚本 } virtual_ipaddress { #设置vip 192.168.101.100 #可以多个虚拟IP，换行即可 }
}
|
6.4.6 完美解决
在主机的nginx宕机后，主机的keepalived自动结束进程。从而备机接官服务。
6.4.6.1 主机nginx宕机
6.4.6.2 备机