关于架设LVS之-基础知识讲解（一）
Cluster概念
系统扩展方式：
Scale UP：向上扩展,增强
Scale Out：向外扩展,增加设备，调度分配问题，Cluster
Cluster：集群,为解决某个特定问题将多台计算机组合起来形成的单个系统
Linux Cluster类型：
LB：Load Balancing，负载均衡
HA：High Availiablity，高可用，SPOF（single Point Of failure）
MTBF:Mean Time Between Failure 平均无故障时间
MTTR:Mean Time To Restoration（ repair）平均恢复前时间
A=MTBF/（MTBF+MTTR）
(0,1)：99%, 99.5%, 99.9%, 99.99%, 99.999%, 99.9999%
HPC：High-performance computing，高性能 www.top500.org
分布式系统：
分布式存储：云盘
分布式计算：hadoop，Spark
LB Cluster的实现
硬件
F5 Big-IP
Citrix Netscaler
A10 A10
软件
lvs：Linux Virtual Server
nginx：支持四层调度
haproxy：支持四层调度
ats：apache traffic server，yahoo捐助
perlbal：Perl 编写
pound
会话保持：负载均衡
(1) session sticky：同一用户调度固定服务器
Source IP：LVS sh算法（对某一特定服务而言）
Cookie
(2) session replication：每台服务器拥有全部session
session multicast cluster
(3) session server：专门的session服务器
Memcached，Redis
HA集群实现方案
keepalived:vrrp协议
ais:应用接口规范
heartbeat
cman+rgmanager(RHCS)
coresync_pacemaker
LVS：Linux Virtual Server，负载调度器，集成内核 章文嵩 阿里
官网：http://www.linuxvirtualserver.org/
VS: Virtual Server，负责调度
RS: Real Server，负责真正提供服务
L4：四层路由器或交换机
工作原理：VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS，根据调度算法来挑选RS
lvs集群类型中的术语：
VS：Virtual Server，Director Server(DS)
Dispatcher(调度器)，Load Balancer
RS：Real Server(lvs), upstream server(nginx)
backend server(haproxy)
CIP：Client IP 客户端IP
VIP: Virtual serve IP VS外网的IP
DIP: Director IP VS内网的IP
RIP: Real server IP 后端的RS服务器
访问流程：CIP <--> VIP == DIP <--> RIP
lvs: ipvsadm/ipvs
ipvsadm：用户空间的命令行工具，规则管理器
用于管理集群服务及RealServer
ipvs：工作于内核空间netfilter的INPUT钩子上的框架
lvs集群的类型：
lvs-nat：修改请求报文的目标IP,多目标IP的DNAT
lvs-dr：操纵封装新的MAC地址
lvs-tun：在原请求IP报文之外新加一个IP首部
lvs-fullnat：修改请求报文的源和目标IP
lvs-nat：
本质是多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发
（1）RIP和DIP应在同一个IP网络，且应使用私网地址；RS的网关要指向DIP
（2）请求报文和响应报文都必须经由Director转发，Director易于成为系统瓶颈
（3）支持端口映射，可修改请求报文的目标PORT
（4）VS必须是Linux系统，RS可以是任意OS系统
参考两张图
LVS-DR模式
LVS-DR：Direct Routing，直接路由，LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部进行转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源IP/PORT，以及目标IP/PORT均保持不变
（1） Director和各RS都配置有VIP
（2） 确保前端路由器将目标IP为VIP的请求报文发往Director
在前端网关做静态绑定VIP和Director的MAC地址
在RS上使用arptables工具
arptables -A IN -d $VIP -j DROP
arptables -A OUT -s $VIP -j mangle --mangle-ip-s $RIP
在RS上修改内核参数以限制arp通告及应答级别
/proc/sys/net/ipv4/conf/all/arp_ignore
/proc/sys/net/ipv4/conf/all/arp_announce
（3）RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；RIP的网关不能指向DIP，以确保响应报文不会经由Director
（4）RS和Director要在同一个物理网络
（5）请求报文要经由Director，但响应报文不经由Director，而由RS直接发往Client
（6）不支持端口映射（端口不能修败）
（7）RS可使用大多数OS系统
lvs-tun：
转发方式：不修改请求报文的IP首部（源IP为CIP，目标IP为
VIP），而在原IP报文之外再封装一个IP首部（源IP是DIP，目
标IP是RIP），将报文发往挑选出的目标RS；RS直接响应给客
户端（源IP是VIP，目标IP是CIP）
(1) DIP, VIP, RIP都应该是公网地址
(2) RS的网关一般不能指向DIP
(3) 请求报文要经由Director，但响应不能经由Director
(4) 不支持端口映射
(5) RS的OS须支持隧道功能
lvs-fullnat模式
lvs-fullnat：通过同时修改请求报文的源IP地址和目标IP地
址进行转发
CIP --> DIP
VIP --> RIP
(1) VIP是公网地址，RIP和DIP是私网地址，且通常不在
同一IP网络；因此，RIP的网关一般不会指向DIP
(2) RS收到的请求报文源地址是DIP，因此，只需响应给
DIP；但Director还要将其发往Client
(3) 请求和响应报文都经由Director
(4) 支持端口映射
注意：此类型kernel默认不支持
LVS工作模式总结
lvs-nat与lvs-fullnat：请求和响应报文都经由Director
lvs-nat：RIP的网关要指向DIP
lvs-fullnat：RIP和DIP未必在同一IP网络，但要能通信
lvs-dr与lvs-tun：请求报文要经由Director，但响应报文由RS直接
发往Client
lvs-dr：通过封装新的MAC首部实现，通过MAC网络转发
lvs-tun：通过在原IP报文外封装新IP头实现转发，支持远距离通信
ipvs scheduler：根据其调度时是否考虑各RS当前的负载状态
两种：静态方法和动态方法
静态方法：仅根据算法本身进行调度
1、RR：roundrobin，轮询
2、WRR：Weighted RR，加权轮询
3、SH：Source Hashing，实现session sticky，源IP地址hash；将来自于同一个IP地址的请求始终发
往第一次挑中的RS，从而实现会话绑定
4、DH：Destination Hashing；目标地址哈希，将发往同一个目标地址的请求始终转发至第一次挑中的RS，典型使用场景
是正向代理缓存场景中的负载均衡，如：宽带运营商
动态方法：主要根据每RS当前的负载状态及调度算法进行调度
Overhead=value 较小的RS将被调度
1、LC：least connections 适用于长连接应用Overhead=activeconns*256+inactiveconns
2、WLC：Weighted LC，默认调度方法Overhead=(activeconns*256+inactiveconns)/weight
3、SED：Shortest Expection Delay,初始连接高权重优先Overhead=(activeconns+1)*256/weight
4、NQ：Never Queue，第一轮均匀分配，后续SED
5、LBLC：Locality-Based LC，动态的DH算法，使用场景：根据负载状态实现正向代理
6、LBLCR：LBLC with Replication，带复制功能的LBLC解决LBLC负载不均衡问题，从负载重的复制到负载轻的RS
更详细的调度算法说明
http://zh.linuxvirtualserver.org/node/2903
ipvsadm命令简要说明：
ipvs：
grep -i -C 10 "ipvs" /boot/config-VERSIONRELEASE.x86_64
支持的协议：TCP， UDP， AH， ESP， AH_ESP, SCTP
ipvs集群：
管理集群服务
管理服务上的RS
ipvsadm：
程序包：ipvsadm
Unit File: ipvsadm.service
主程序：/usr/sbin/ipvsadm
规则保存工具：/usr/sbin/ipvsadm-save
规则重载工具：/usr/sbin/ipvsadm-restore
配置文件：/etc/sysconfig/ipvsadm-config
安装程序包
yum -y install ipvsadm
ipvsadm命令：
核心功能：
集群服务管理：增、删、改
集群服务的RS管理：增、删、改
查看
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]
[-M netmask] [--pe persistence_engine] [-b sched-flags]
ipvsadm -D -t|u|f service-address 删除
ipvsadm –C 清空
ipvsadm –R 重载
ipvsadm -S [-n] 保存
ipvsadm -a|e -t|u|f service-address -r server-address [options]
ipvsadm -d -t|u|f service-address -r server-address
ipvsadm -L|l [options]
ipvsadm -Z [-t|u|f service-address]
管理集群服务：增、改、删
增、改：
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]
删除：
ipvsadm -D -t|u|f service-address
service-address：
-t|u|f：
-t: TCP协议的端口，VIP:TCP_PORT
-u: UDP协议的端口，VIP:UDP_PORT
-f：firewall MARK，标记，一个数字
[-s scheduler]：指定集群的调度算法，默认为wlc
管理集群上的RS：增、改、删
增、改：ipvsadm -a|e -t|u|f service-address -r
server-address [-g|i|m] [-w weight]
删：ipvsadm -d -t|u|f service-address -r serveraddress
server-address：
rip[:port] 如省略port，不作端口映射
选项：
lvs类型：
-g: gateway, dr类型，默认
-i: ipip, tun类型
-m: masquerade, nat类型
-w weight：权重
清空定义的所有内容：ipvsadm –C
清空计数器：ipvsadm -Z [-t|u|f service-address]
查看：ipvsadm -L|l [options]
--numeric, -n：以数字形式输出地址和端口号
--exact：扩展信息，精确值
--connection，-c：当前IPVS连接输出
--stats：统计信息
--rate ：输出速率信息
ipvs规则： /proc/net/ip_vs
ipvs连接：/proc/net/ip_vs_conn
保存：建议保存至/etc/sysconfig/ipvsadm
ipvsadm-save > /PATH/TO/IPVSADM_FILE
ipvsadm -S > /PATH/TO/IPVSADM_FILE
systemctl stop ipvsadm.service
重载：
ipvsadm-restore < /PATH/FROM/IPVSADM_FILE
ipvsadm -R < /PATH/FROM/IPVSADM_FILE
系统扩展方式：
Scale UP：向上扩展,增强
Scale Out：向外扩展,增加设备，调度分配问题，Cluster
Cluster：集群,为解决某个特定问题将多台计算机组合起来形成的单个系统
Linux Cluster类型：
LB：Load Balancing，负载均衡
HA：High Availiablity，高可用，SPOF（single Point Of failure）
MTBF:Mean Time Between Failure 平均无故障时间
MTTR:Mean Time To Restoration（ repair）平均恢复前时间
A=MTBF/（MTBF+MTTR）
(0,1)：99%, 99.5%, 99.9%, 99.99%, 99.999%, 99.9999%
HPC：High-performance computing，高性能 www.top500.org
分布式系统：
分布式存储：云盘
分布式计算：hadoop，Spark
LB Cluster的实现
硬件
F5 Big-IP
Citrix Netscaler
A10 A10
软件
lvs：Linux Virtual Server
nginx：支持四层调度
haproxy：支持四层调度
ats：apache traffic server，yahoo捐助
perlbal：Perl 编写
pound
会话保持：负载均衡
(1) session sticky：同一用户调度固定服务器
Source IP：LVS sh算法（对某一特定服务而言）
Cookie
(2) session replication：每台服务器拥有全部session
session multicast cluster
(3) session server：专门的session服务器
Memcached，Redis
HA集群实现方案
keepalived:vrrp协议
ais:应用接口规范
heartbeat
cman+rgmanager(RHCS)
coresync_pacemaker
LVS：Linux Virtual Server，负载调度器，集成内核 章文嵩 阿里
官网：http://www.linuxvirtualserver.org/
VS: Virtual Server，负责调度
RS: Real Server，负责真正提供服务
L4：四层路由器或交换机
工作原理：VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS，根据调度算法来挑选RS
lvs集群类型中的术语：
VS：Virtual Server，Director Server(DS)
Dispatcher(调度器)，Load Balancer
RS：Real Server(lvs), upstream server(nginx)
backend server(haproxy)
CIP：Client IP 客户端IP
VIP: Virtual serve IP VS外网的IP
DIP: Director IP VS内网的IP
RIP: Real server IP 后端的RS服务器
访问流程：CIP <--> VIP == DIP <--> RIP
lvs: ipvsadm/ipvs
ipvsadm：用户空间的命令行工具，规则管理器
用于管理集群服务及RealServer
ipvs：工作于内核空间netfilter的INPUT钩子上的框架
lvs集群的类型：
lvs-nat：修改请求报文的目标IP,多目标IP的DNAT
lvs-dr：操纵封装新的MAC地址
lvs-tun：在原请求IP报文之外新加一个IP首部
lvs-fullnat：修改请求报文的源和目标IP
lvs-nat：
本质是多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发
（1）RIP和DIP应在同一个IP网络，且应使用私网地址；RS的网关要指向DIP
（2）请求报文和响应报文都必须经由Director转发，Director易于成为系统瓶颈
（3）支持端口映射，可修改请求报文的目标PORT
（4）VS必须是Linux系统，RS可以是任意OS系统
参考两张图
LVS-DR模式
LVS-DR：Direct Routing，直接路由，LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部进行转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源IP/PORT，以及目标IP/PORT均保持不变
（1） Director和各RS都配置有VIP
（2） 确保前端路由器将目标IP为VIP的请求报文发往Director
在前端网关做静态绑定VIP和Director的MAC地址
在RS上使用arptables工具
arptables -A IN -d $VIP -j DROP
arptables -A OUT -s $VIP -j mangle --mangle-ip-s $RIP
在RS上修改内核参数以限制arp通告及应答级别
/proc/sys/net/ipv4/conf/all/arp_ignore
/proc/sys/net/ipv4/conf/all/arp_announce
（3）RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；RIP的网关不能指向DIP，以确保响应报文不会经由Director
（4）RS和Director要在同一个物理网络
（5）请求报文要经由Director，但响应报文不经由Director，而由RS直接发往Client
（6）不支持端口映射（端口不能修败）
（7）RS可使用大多数OS系统
lvs-tun：
转发方式：不修改请求报文的IP首部（源IP为CIP，目标IP为
VIP），而在原IP报文之外再封装一个IP首部（源IP是DIP，目
标IP是RIP），将报文发往挑选出的目标RS；RS直接响应给客
户端（源IP是VIP，目标IP是CIP）
(1) DIP, VIP, RIP都应该是公网地址
(2) RS的网关一般不能指向DIP
(3) 请求报文要经由Director，但响应不能经由Director
(4) 不支持端口映射
(5) RS的OS须支持隧道功能
lvs-fullnat模式
lvs-fullnat：通过同时修改请求报文的源IP地址和目标IP地
址进行转发
CIP --> DIP
VIP --> RIP
(1) VIP是公网地址，RIP和DIP是私网地址，且通常不在
同一IP网络；因此，RIP的网关一般不会指向DIP
(2) RS收到的请求报文源地址是DIP，因此，只需响应给
DIP；但Director还要将其发往Client
(3) 请求和响应报文都经由Director
(4) 支持端口映射
注意：此类型kernel默认不支持
LVS工作模式总结
lvs-nat与lvs-fullnat：请求和响应报文都经由Director
lvs-nat：RIP的网关要指向DIP
lvs-fullnat：RIP和DIP未必在同一IP网络，但要能通信
lvs-dr与lvs-tun：请求报文要经由Director，但响应报文由RS直接
发往Client
lvs-dr：通过封装新的MAC首部实现，通过MAC网络转发
lvs-tun：通过在原IP报文外封装新IP头实现转发，支持远距离通信
ipvs scheduler：根据其调度时是否考虑各RS当前的负载状态
两种：静态方法和动态方法
静态方法：仅根据算法本身进行调度
1、RR：roundrobin，轮询
2、WRR：Weighted RR，加权轮询
3、SH：Source Hashing，实现session sticky，源IP地址hash；将来自于同一个IP地址的请求始终发
往第一次挑中的RS，从而实现会话绑定
4、DH：Destination Hashing；目标地址哈希，将发往同一个目标地址的请求始终转发至第一次挑中的RS，典型使用场景
是正向代理缓存场景中的负载均衡，如：宽带运营商
动态方法：主要根据每RS当前的负载状态及调度算法进行调度
Overhead=value 较小的RS将被调度
1、LC：least connections 适用于长连接应用Overhead=activeconns*256+inactiveconns
2、WLC：Weighted LC，默认调度方法Overhead=(activeconns*256+inactiveconns)/weight
3、SED：Shortest Expection Delay,初始连接高权重优先Overhead=(activeconns+1)*256/weight
4、NQ：Never Queue，第一轮均匀分配，后续SED
5、LBLC：Locality-Based LC，动态的DH算法，使用场景：根据负载状态实现正向代理
6、LBLCR：LBLC with Replication，带复制功能的LBLC解决LBLC负载不均衡问题，从负载重的复制到负载轻的RS
更详细的调度算法说明
http://zh.linuxvirtualserver.org/node/2903
ipvsadm命令简要说明：
ipvs：
grep -i -C 10 "ipvs" /boot/config-VERSIONRELEASE.x86_64
支持的协议：TCP， UDP， AH， ESP， AH_ESP, SCTP
ipvs集群：
管理集群服务
管理服务上的RS
ipvsadm：
程序包：ipvsadm
Unit File: ipvsadm.service
主程序：/usr/sbin/ipvsadm
规则保存工具：/usr/sbin/ipvsadm-save
规则重载工具：/usr/sbin/ipvsadm-restore
配置文件：/etc/sysconfig/ipvsadm-config
安装程序包
yum -y install ipvsadm
ipvsadm命令：
核心功能：
集群服务管理：增、删、改
集群服务的RS管理：增、删、改
查看
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]
[-M netmask] [--pe persistence_engine] [-b sched-flags]
ipvsadm -D -t|u|f service-address 删除
ipvsadm –C 清空
ipvsadm –R 重载
ipvsadm -S [-n] 保存
ipvsadm -a|e -t|u|f service-address -r server-address [options]
ipvsadm -d -t|u|f service-address -r server-address
ipvsadm -L|l [options]
ipvsadm -Z [-t|u|f service-address]
管理集群服务：增、改、删
增、改：
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]
删除：
ipvsadm -D -t|u|f service-address
service-address：
-t|u|f：
-t: TCP协议的端口，VIP:TCP_PORT
-u: UDP协议的端口，VIP:UDP_PORT
-f：firewall MARK，标记，一个数字
[-s scheduler]：指定集群的调度算法，默认为wlc
管理集群上的RS：增、改、删
增、改：ipvsadm -a|e -t|u|f service-address -r
server-address [-g|i|m] [-w weight]
删：ipvsadm -d -t|u|f service-address -r serveraddress
server-address：
rip[:port] 如省略port，不作端口映射
选项：
lvs类型：
-g: gateway, dr类型，默认
-i: ipip, tun类型
-m: masquerade, nat类型
-w weight：权重
清空定义的所有内容：ipvsadm –C
清空计数器：ipvsadm -Z [-t|u|f service-address]
查看：ipvsadm -L|l [options]
--numeric, -n：以数字形式输出地址和端口号
--exact：扩展信息，精确值
--connection，-c：当前IPVS连接输出
--stats：统计信息
--rate ：输出速率信息
ipvs规则： /proc/net/ip_vs
ipvs连接：/proc/net/ip_vs_conn
保存：建议保存至/etc/sysconfig/ipvsadm
ipvsadm-save > /PATH/TO/IPVSADM_FILE
ipvsadm -S > /PATH/TO/IPVSADM_FILE
systemctl stop ipvsadm.service
重载：
ipvsadm-restore < /PATH/FROM/IPVSADM_FILE
ipvsadm -R < /PATH/FROM/IPVSADM_FILE
systemctl restart ipvsadm.service
基础知识暂时先写到这里，下一节将进入到NAT模式的实际配置操作