Fork me on GitHub

LVS精讲

字数统计: 1.8k字   |   阅读时长≈ 8分

为什么要学LVS？

1
2
3
当并发超过Nginx上限，就可以使用LVS了。
而日1000-2000W PV或并发请求1万以下都可以考虑用Nginx
大型门户网站电商网站常用LVS

LVS介绍

1
2
3
4
5
6
7
LVS是Linux Virtual Server的简写，即Linux虚拟服务器。
官网：http://linuxvirtualserver.org/

LVS项目介绍           http://www.linuxvirtualserver.org/zh/lvs1.html 
LVS集群的体系结构     http://www.linuxvirtualserver.org/zh/lvs2.html 
LVS集群中的IP负载均衡技术  http://www.linuxvirtualserver.org/zh/lvs3.html
LVS集群的负载调度      http://www.linuxvirtualserver.org/zh/lvs4.html

LVS内核模块ip_vs

1
2
3
4
LVS无需安装，其管理工具叫做ipvsadm和keepalived。
区别：ipvsadm是通过命令行管理，而keepalived读取配置文件管理

注：ip_vs内核模块已经集成到了2.6及以后的kernel内核当中，也就意味着发行版自带无需再安装。

环境

1
2
3
4
5
6
7
8
9
10
11
4台服务器，如下：
192.168.56.11 LB01
192.168.56.12 LB02
192.168.56.13 Web01
192.168.56.14 Web02

web01和web02部署完成nginx，启动服务并可访问，要求访问结果如下：
curl http://192.168.56.13/index.html
web01
curl http://192.168.56.14/index.html
web02

LVS集群部署

lvs01上操作

1
2
3
4
5
6
7
8
9
10
11
12
13
14
#查看lvs模块
lsmod |grep ip_vs

#默认没有加载模块，所以需要安装管理工具激活
yum -y install ipvsadm

#查看管理工具ipvsadm状态
ipvsadm

#再次查看lvs模块
lsmod |grep ip_vs
ip_vs                 141092  0 
nf_conntrack          111302  1 ip_vs
libcrc32c              12644  2 xfs,ip_vs

如下采用DR直接模式

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
#添加虚拟VIP地址(注意掩码)
ip addr add 192.168.56.3/24 dev eth0 
或
vim /etc/sysconfig/network-scripts/ifcfg-eth0  添加如下行：
IPADDR1="192.168.56.10"
重启网卡
# ip addr 查看

#清除原有规则
ipvsadm -C   

#配置超时时间
ipvsadm --set 30 5 60  

#添加VIP网卡端口
ipvsadm -A -t 192.168.56.10:80 -s wrr -p 20

#关联后端real server
ipvsadm -a -t 192.168.56.10:80 -r 192.168.56.13:80 -g -w 1 
ipvsadm -a -t 192.168.56.10:80 -r 192.168.56.14:80 -g -w 1 

#查看参数帮助
ipvsadm --help


#查看ipvsadm配置
[root@linux-node1 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.56.10:80 wrr persistent 20
  -> 192.168.56.13:80             Route   1      0          0         
  -> 192.168.56.14:80             Route   1      0          0

分别在web01和web02操作

1
2
3
4
5
6
7
8
9
10
11
步骤1：在lo网卡绑定VIP地址（ip）
步骤2：修改内核参数抑制ARP响应
ip addr add 192.168.56.10/32 dev lo

cat >>/etc/sysctl.conf<<EOF
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
EOF
sysctl -p

浏览器访问测试

1
2
3
4
5
http://192.168.56.10/    

访问结果问题如下：
问题1：负载结果不像nginx负载那么明显
问题2： 使用抓包工具，发现进行通信的返回IP地址与MAC地址不匹配

LVS工作模式

LVS名词

LVS名词

DR直接路由模式

LVS DR

1
2
3
4
5
6
7
8
9
10
要求：LB服务器与real server服务器必须在同一局域网。

特点：同一个局域网是通过MAC地址进行数据包发送接收的。
另,为了解决LVS发送数据包给web01，web01根据IP地址判断不属于发送自己会把该数据包丢弃，所以我们在web01和web02的lo回环网卡配置了VIP地址，来让其接收数据包。

缺点：浪费公网IP地址。但如果不使用公网IP地址而使用网关进行地址转换势必会给网关造成瓶颈压力。

注：
(1)LVS DR模式工作在2层数据链路层(主要协议：ARP,即MAC地址转发)，DR模式它改不了端口，所以VIP:80后端real server也必须是80端口。
(2)我们说LVS工作在四层，其实指的是LVS其他的工作模式,而非DR模式。

Real Server为什么要修改内核参数抑制ARP响应？

1
2
DR模式需要关闭内核arp响应，确保收到的arp信息最为准确。
除此之外，要保证VIP IP地址孤立，所谓孤立就配置其掩码为32即可。
1
2
3
4
5
6
7
8
9
10
11
基础知识：

ARP协议作用是：ARP通过广播方式将IP地址转为MAC地址。为了提升IP转换MAC地址的效率，系统会进行ARP缓存，减少广播风暴。

当LB01宕机切换到LB02时，ARP缓存表MAC地址并没有及时变更会导致服务器无法上网,所以需要及时更新arp缓存。所以需要调用arping命令进行主动更新。

#查看arp缓存命令
arp -n

#arp ping命令解析MAC地址
arping -c 1 -I eth0 192.168.56.14

LVS集群工作模式

1
2
3
4
DR(Direct Routing)：直接路由模式
NAT：NAT模式（LB负载均衡服务器做NAT会成为性能瓶颈）
TUNNEL：隧道模式
FULLNAT(淘宝请原作者再次开发的模式)

LVS（负载均衡）+keepalived（高可用）集群

LVS01和web02上操作

1
2
3
4
5
6
7
8
9
10
11
12
13
14
#查看lvs模块
lsmod |grep ip_vs

#默认没有加载模块，所以需要安装管理工具激活
yum -y install ipvsadm

#查看管理工具ipvsadm状态
ipvsadm

#再次查看lvs模块
lsmod |grep ip_vs
ip_vs                 141092  0 
nf_conntrack          111302  1 ip_vs
libcrc32c              12644  2 xfs,ip_vs

分别在lb01和lb02上安装keepalived

1
2
#安装keepalived
yum install -y keepalived
1
2
#配置keepalived
vim /etc/keepalived/keepalived.conf

lb01配置文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
global_defs {
   router_id LVS_01     #每个配置文件的router_id都不同
}

vrrp_instance VI_1 {   
    state MASTER        #配置标识  
    interface eth0
    virtual_router_id 51   #同一个LVS集群virtual_router_id相同
    priority 150           #优先级要比backup高
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {    #配置虚拟VIP
     192.168.56.10/24
    }
}

virtual_server 192.168.56.10 80 {
    delay_loop 6          	
    lb_algo wrr                
    lb_kind DR                
    nat_mask 255.255.255.0
    persistence_timeout 50     
    protocol TCP                

    real_server 192.168.56.13 80 {      
        weight 1              
        TCP_CHECK {          #配置健康检查，检查失败则将本节点踢出集群
        connect_timeout 8       
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
    }

    real_server 192.168.56.14 80 {
        weight 1              
        TCP_CHECK {         #配置健康检查，检查失败则将本节点踢出集群
        connect_timeout 8       
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
    }
}

lb02配置文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
global_defs {
   router_id LVS_02
}

vrrp_instance VI_1 {
    state BACKUP
    interface eth0
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
     192.168.56.10/24
    }
}

#下面的部分与lb01完全一致。
virtual_server 192.168.56.10 80 {
    delay_loop 6          	
    lb_algo wrr                
    lb_kind DR                
    nat_mask 255.255.255.0
    persistence_timeout 50     
    protocol TCP                

    real_server 192.168.56.13 80 {
        weight 1              
        TCP_CHECK {
        connect_timeout 8       
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
    }

    real_server 192.168.56.14 80 {
        weight 1              
        TCP_CHECK {
        connect_timeout 8       
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
    }
}

分别启动

1
2
3
4
5
>/etc/keepalived/keepalived.conf 
vim /etc/keepalived/keepalived.conf
systemctl start keepalived
systemctl status keepalived
ip addr   #查看VIP地址是否存在

Web服务器配置

web01和web02配置如下：

1
2
3
4
5
6
7
8
9
10
11
步骤1：在lo网卡绑定VIP地址（ip）
步骤2：修改内核参数抑制ARP响应
ip addr add 192.168.56.10/32 dev lo

cat >>/etc/sysctl.conf<<EOF
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
EOF
sysctl -p

检查集群

1
ipvsadm -ln

关于排错

1
LVS集成到了kernel内核中，无日志可以查看，所以需要按照正确的部署方式逐一排查。

写在最后加深印象

1
2
3
注：
(1)LVS DR模式工作在2层数据链路层(主要协议：ARP,即MAC地址转发)，DR模式它改不了端口，所以VIP:80后端real server也必须是80端口。
(2)我们说LVS工作在四层，其实指的是LVS其他的工作模式,而非DR模式。

扫一扫，分享到微信

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true


不论我写了什么...
其实都是错的......