lvs简单使用
LB集群实现
硬件
1 F5 2 BIG-IP 3 Citrix NetScaler 4 A10 5 Redware
软件
1 lvs 2 haproxy 3 nginx 4 ats apache traffic server 5 perlbal 基于工作协议层次划分 传输层 lvs，haproxy（mode tcp） 应用层 naproxy， nginx， ats， perlbar
LVS基础知识
工作在传输层的软件（TCP/IP协议栈），能基于TCP和UDP（目标IP和目标PORT）对请求进行负载均衡，也称四层交换、四层路由 能根据负载均衡算法发送至后端主机集群中某一台主机 netfilter链使用 PREROUTING ---> INPUT ---> POSTROUTING ipvsadm 用户空间命令行工具，定义集群规则，管理集群服务 ipvs 工作在内核中netfilter INPUT钩子上 ipvsadm通过系统调用将规则发送给ipvs 支持TCP、UDP、AH、EST、AH_EST、SCTP等诸多协议
查看内核编译IPVS情况
1 grep -i -A 10 'IPVS' /boot/config-3.10.0-693.17.1.el7.x86_64
LVS Arch
1 调度器：director, dispatcher, balancer 2 RS：Real Server
LVS Type
lvs-nat
MASQUERADE类型 多目标的DNAT模式（iptables）：它通过修改请求报文的目标IP地址（必要时一并修改目标PORT）至挑选出的Real Server的IP地址实现转发 特性 1. RealServer的IP地址和DIP使用私网地址 2. 请求和响应报文都经由调度器转发，极高负载的场景中，调度器：director可能会成为系统瓶颈 3. 支持端口映射 4. RealServer可以使用任意OS 5. RIP 和 DIP 最好在同一IP网络
lvs-dr (direct routing)
GATEWAY类型 它通过修改请求报文的目标mac地址进行转发 1. 保证前端路由器将目标IP为VIP的请求报文发送给Director 静态绑定 arptables 修改RS主机的内核参数 2. RIP可以使用私网地址也可以使用公网地址，只要保证能和Director、公网通信 3. RealServer 和 Director 要在一个局域网中 4. 请求报文经由Director调度，但响应报文直接由Real Server发送 5. RealServer网关不能指向DIP 6. 不支持端口映射 7. RealServer可以用大多数OS
lvs-tun (ip tunneling)
IPIP类型 1. RIP，DIP，VIP全都是公网地址 2. RealServer的网关不能指向DIP 3. 请求报文必须由Director调度，但响应报文必须由RealServer发送 4. 不支持端口映射 5. RealServer必须支持隧道功能
lvs-fullnat
Director通过同时修改请求报文的目标地址和源地址进行转发 1. VIP是公网地址，RIP和DIP是私网地址，二者无须在同一网络中 2. Real Server 接收到请求报文的源地址为DIP，因此要响应给DIP 3. 请求报文和响应报文都经由Director 4. 支持端口映射机制 5. Real Server 可以使用任意OS
LVS Scheduler
静态方法：仅根据算法本身调度 RR round robin，轮询 WRR weight round robin，加权轮询 DH destination hash，将对同一个目标的请求始终调度至同一RealServer SH source hash，session保持机制 动态方法：根据算法和各RealServer当前负载状态进行调度 LC least connection，最少活动连接 Overhead（负载） = Active * 256 + Inactive WLC weight least connection，加权最少活动连接 Overhead = （Active * 256 + Inactive） / weight SED shortest expection delay，最短期望延迟 Overhead = （Active + 1 ） * 256 NQ never queue，永不排队 SED算法改进：第一轮用SED挑，挑一个排除一个，直到所有的RS都处理过一个请求，后续的使用SED处理 LBLC locality-based least connection，动态DH算法 正向代理情形下的cache server调度 LBLCR Locality-Based Least-Connection with Replication，带复制功能的LBLC
ipvs集群服务
1. 一个ipvs主机可以同时定义多个cluster service 2. 一个cluster service上至少应该有一个Real Server 3. 定义cluster service时，要同时指明lvs-type、lvs scheduler
ipvsadm用法
service-address tcp：-t ip：port udp：-u ip：port fwm：-f mark server-address ip[:port] lvs-type -g：gateway，dr -i：ipip，tun -m：masquerade，nat scheduler -s：默认为wlc 管理集群服务 ipvsadm -A|E -t|u|f service-address [-s scheduler] ipvsadm -D -t|u|f service-address 管理集群服务的RealServer ipvsadm -a|e -t|u|f service-address -r server-address ipvsadm -d -t|u|f service-address -r server-address 清空和查看 ipvsadm -C ipvsadm -L|l [options] -n：numberic，以数字格式显示地址和端口 -c：connection，显示当前TCP连接 --stats，statistics，显示统计数据 --rate：速率 --sort：排序 --exact：精确值 保存和重载 ipvsadm -R ipvsadm -S [-n] 置零计数器 ipvsadm -Z [-t|u|f service-address]
实例：lvs-nat
Director VIP 192.168.111.128 DIP 192.168.1.1 RealServer（Web Server） RIP1 192.168.1.2:8080 RIP2 192.168.1.3:8080 ipvsadm -A -t 192.168.111.128:80 -s rr ipvsadm -a -t 192.168.111.128:80 -r 192.168.1.2 -m ipvsadm -a -t 192.168.111.128:80 -r 192.168.1.3 -m ipvsadm -L -n ipvsadm -E -t 192.168.111.128:80 -s sh ipvsadm -L -n ipvsadm -e -t 192.168.111.128:80 -r 192.168.1.2:8080 -m ipvsadm -e -t 192.168.111.128:80 -r 192.168.1.3:8080 -m ipvsadm -S > /etc/sysconfig/ipvsadm || ipvsadm-save
实例：lvs-dr
Director VIP 192.168.111.10 DIP 192.168.111.128 RealServer（Web Server） RIP1 192.168.111.11 gw 192.168.111.1 VIP1(lo) 192.168.111.10 RIP2 192.168.111.12 gw 192.168.111.1 VIP2(lo) 192.168.111.10 LAN-ARP问题解决（多个VIP地址相同，IP地址必须唯一） 修改RealServer两个内核参数 arp_announce 0 通告自身拥有的所有地址 1 尽量避免把非本网络的地址往外通告 2 总是使用最佳地址向外通告（能解决问题） arp_ignore 0 通告自身拥有的所有地址 1 请求报文从哪个接口进入，就用哪个接口的地址响应（能解决问题） Director VIP Configure (alias broadcast intface_network) ifconfig ens33:0 192.168.111.10/32 broadcast 192.168.111.10 up route add -host 192.168.111.10 dev ens33:0 Real Server Configure (defined kernel args) echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore echo 1 > /proc/sys/net/ipv4/conf/ens33/arp_ignore echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce echo 2 > /proc/sys/net/ipv4/conf/ens33/arp_announce ifconfig lo:0 192.168.111.10/32 broadcast 192.168.111.10 up route add -host 192.168.111.10 dev lo:0 IPVS Rule ipvsadm -A -t 192.168.111.10:80 -s rr ipvsadm -a -t 192.168.111.10:80 -r 192.168.111.11 -g ipvsadm -a -t 192.168.111.10:80 -r 192.168.111.12 -g 多服务负载使用同一集群 将共享同一组RS的集群服务同一进行定义 Directior # 使用FWM定义集群 iptables -t mangle -A PREROUTING -d 192.168.111.10 -p tcp -dport 80 -j MARK --set-mark 10 iptables -t mangle -A PREROUTING -d 192.168.111.10 -p tcp -dport 443 -j MARK --set-mark 10 # iptables -t mangle -A PREROUTING -d 192.168.111.10 -p tcp -dport 22 -j MARK --set-mark 10 # 基于FWM定义集群服务 ipvsadm -A -f 10 -s rr ipvs -a -f 10 -r 192.168.111.11 ipvs -a -f 10 -r 192.168.111.12
实例：lvs-dr (RIP,DIP不在同一网段)
1 加一台Route Host两个IP地址，一个能和公网通信，另一个是RIP的网关 2 这样即使RIP和DIP不在同一网段，也能通过这台路由器转发数据包 3 路由器既要对DIP到RIP的数据包进行转发，也要对VIP到CIP的数据包进行转发
RealServer高可用
防止：RS宕机而Director还继续对它进行调度 方法：让Director对其做健康状态检测机制，并根据检测的结果自动完成添加或移除等管理功能 总结 1. 基于协议层检测 网络层：icmp 传输层：检测端口的开放状态 应用层：请求获取关键性资源 2. 检查频率 3. 状态判断 下线： success ---> failure ---> failure ---> failure 上线：failure ---> success ---> success ---> success 4. 日志问题 做PV时，健康检测访问Web的日志不应该被算入正常请求日志 5. back server, sorry server 所有RS宕机时，需要反馈用户一些信息 默认sorry server weight为0，当所有RS宕机时sorry为1
解决Session保持问题
session绑定 object source ip hash cookies hash lvs sh 将来自同一个用户IP的请求都定向到同一个Real Server，自行维护一个会话追踪表 lvs persistence 无论ipvs使用何种调度方法，其都能实现将来自同一个Client的请求始终定向至上一次调度时挑选出的RS 需求：持久连接模板，sourceip realserver timer，每个连接都有一个计数器， 存储在模板中，为LVS提供算法调度的参数 持久连接的实现方式 每个端口持久：PPC，单服务持久调度 每个FWM持久：PFWMC，单FWM持久调度 PORT AFFINITY 每个客户端持久：PCC，单客户端持久调度 Director会将用户的任何请求都识别为集群服务，并向RS进行调度 使用：-p指定超时时间单位s ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] session复制 ... session集群 ... session服务器 ...