Fork me on GitHub

haproxy_nginx高可用负载均衡

字数统计: 2.3k字   |   阅读时长≈ 10分

目录：

  1. 实验环境
  2. Nginx预安装配置
  3. haproxy原理、编译安装与配置

实验环境

1
2
3
操作系统：CentOS7
服务器：4台
关闭firewalld和selinux

拓扑如下：

拓扑

Nginx 服务器配置

[未特殊说明默认]在nginx1与nginx2同时配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
1. 安装阿里云基本源
   http://mirrors.aliyun.com/help/centos

2. 安装nginx
    yum install -y nginx

3. 修改80端口为8080
   vim /etc/nginx/nginx.conf
   listen       8080 default_server;
   
4. 启动nginx
   systemctl enable nginx
   systemctl start nginx

5. 简单配置用于区分nginx1与nginx2
   Nginx1上配置：
   echo "nginx1" > /usr/share/nginx/html/index.html
   
    Nginx2上配置：
    echo "nginx2" > /usr/share/nginx/html/index.html

6. 访问测试

haproxy 原理

haproxy是什么？

1
HAProxy是一个免费的负载均衡软件，HAProxy提供了L4(TCP)和L7(HTTP)两种负载均衡能力，具备丰富的功能。

haproxy的核心功能

1
2
3
4
5
6
7
8
9
10
1. 负载均衡：L4和L7两种模式，支持RR/静态RR/LC/IP Hash/URI Hash/URL_PARAM Hash/HTTP_HEADER Hash等丰富的负载均衡算法

2. 健康检查：支持TCP和HTTP两种健康检查模式

3. 会话保持：对于未实现会话共享的应用集群，可通过Insert Cookie/Rewrite Cookie/Prefix Cookie，以及上述的多种Hash方式实现会话保持

4. SSL：HAProxy可以解析HTTPS协议，并能够将请求解密为HTTP后向后端传输
HTTP请求重写与重定向

5. 监控与统计：HAProxy提供了基于Web的统计信息页面，展现健康状态和流量数据。基于此功能，使用者可以开发监控程序来监控HAProxy的状态

Haproxy主要工作模式

1
2
3
1.tcp模式:该模式下，在客户端和服务器之间将建立一个全双工的连接，且不会对7层的报文做任何处理的简单模式。此模式默认，通常用于SSL、SSH、SMTP应用。

2.http模式（一般使用）：该模式下，客户端请求在转发给后端服务器之前会被深度分析，所有不与RFC格式兼容的请求都会被拒绝。

Haproxy 8种负载均衡方法

1
2
3
4
5
6
7
① roundrobin : 基于权重轮循。动态算法：支持权重的运行时调整，支持慢启动；仅支持最大4095个后端活动主机 
② static-rr : 基于权重轮循。静态算法：不支持权重的运行时调整及慢启动；但后端主机数量无限制
③ source : 基于请求源IP的算法。对请求的源IP进行hash运算，然后将结果与后端服务器的权重总数想除后转发至某台匹配服务器。使同一IP客户端请求始终被转发到某特定的后端服务器。
④ leastconn : 最小连接。（适合数据库负载均衡，不适合会话短的环境） 
⑤ uri : 对部分或整体URI进行hash运算，再与服务器的总权重想除，最后转发到匹配后端。
⑥ uri_param : 根据URL路径中参数进行转发，保证在后端服务器数量不变的情况下，同一用户请求分发到同一机器。
⑦ hdr(<name>) : 根据http头转发，如果不存在http头。则使用简单轮循。

编译安装haproxy

官方下载地址：https://www.haproxy.org/download/1.7/src/

1
2
3
4
5
6
7
在两台haproxy上操作：
yum groupinstall -y "Development tools"
wget https://www.haproxy.org/download/1.7/src/haproxy-1.7.7.tar.gz
tar -zxvf haproxy-1.7.7.tar.gz
cd haproxy-1.7.7
make TARGET=linux2628  ARCH=X86_64 PREFIX=/usr/local/haproxy
make install PREFIX=/usr/local/haproxy
1
2
3
4
5
6
7
8
9
注意：TARGET=Linux2628，TARGET则根据当前操作系统内核版本指定；
     ARCH=X86_64  系统位数;
     PREFIX=/usr/local/haproxy 指定安装路径;

- linux22     for Linux 2.2
- linux24     for Linux 2.4 and above (default)
- linux24e    for Linux 2.4 with support for a working epoll (> 0.21)
- linux26     for Linux 2.6 and above
- linux2628   for Linux 2.6.28, 3.x, and above (enables splice and tproxy)

配置haproxy

1
2
3
4
5
创建管理用户
useradd -s /sbin/nologin -M haproxy

创建haproxy配置文件
mkdir /etc/haproxy -p

创建haproxy.cfg配置文件

vim /etc/haproxy/haproxy.cfg

1
2
3
4
5
6
7
8
9
10
11
Haproxy配置文件-区域介绍

global  全局配置段
    进程及安全配置相关的参数
    性能调整相关参数
    Debug相关参数
（proxies 代理配置段）
    default 默认配置 （fronttend backend listen 三个的默认参数）
    frontend  前端 定义一系列监听套字节，接收客户端请求
    backend  后端 定义一系列后端服务器，请求转发
    listen 前后端直接关联

配置文件详解

1
2
3
4
5
6
7
8
9
10
11
global
    chroot /usr/local/haproxy   #工作目录chroot
    log 127.0.0.1 local3 info
    #全局日志配置，使用127.0.0.1的rsyslog服务中local3日志设备，等级info
    maxconn 4096  #每个进程最大并发数
    nbproc 1   #后台进程数量
    user nobody
    group nobody
    daemon    #后台程序模式工作
    pidfile /usr/local/haproxy/haproxy.pid    #HAProxy pid文件存储目录
    #tune.bufsize 16384  #设置buffer(B)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
defaults
    mode http  #默认的模式mode {tcp|http|health}; tcp是4层,http是7层,health只会返回OK
    retries 3  #连接后端服务器重试次数，超出后标为不可用
    timeout connect 10S  #连接服务器最长等待时间（ms）
    timeout client 20s   #连接客户端发送数据最长等待时间。
    timeout server 30s   #服务器回复客户端最长等待时间。
    timeout check 5s     #对后端服务器的检测超时时间。 
    
    
listen stats   #定义haproxy web
   mode http
   bind 0.0.0.0:8888
   stats enable
   stats uri     /haproxy-status 
   stats auth    haproxy:saltstack     #配置haproxy web登陆的账户密码
1
2
3
4
5
6
7
8
9
10
11
frontend http_80_in  #定义前端虚拟节点名称
    
    bind *:80 
    # bind [<address>:<port_range>] interface <interface> 监听socket套字节定义
    mode http
    option httplog    #启用日志记录HTTP请求。
    option forwardfor #启用后后端服务器可以获得客户端IP
    option http-keep-alive #开启长连接
    option httpclose  #客户端和服务器完成一次连接请求后，HAProxy主动关闭TCP链接（优化选项）
    log global        #使用全局日志配置
    default_backend webserver  #指定后端服务池（需要与backend定义webserver一致）
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
backend webserver  #定义后端服务池
    mode http
    option redispatch 
    #用于cookie保持环境。如后端服务器故障，客户端cookie不会刷新，用此来把用户请求强制定向到正常服务器
    option abortonclose   #负载均衡很高时，自动结束当前队列处理时间长的连接
    balance roundrobin    #负载均衡算法。
    cookie SERVERID       #允许向cookie插入SERVERID.下面server可以使用cookie定义   
    option httpchk GET /index.php #启用HTTP服务状态检测功能
    #option httpchk <method>  <url> <vesion>
    #mothod: OPTION、GET、HEAD (其中HEAD仅检测是否返回状态码200 更快，更简单)
    
   
    server web1 192.168.1.186:80 cookie server1 weight 6 check inter 2000 rise 2 fall 3
    server web2 192.168.1.188:80 cookie server2 weight 6 check inter 2000 rise 2 fall 3
    
说明：#server <name> <address>[:port] [param*]
     #[param*]为后端设定参数
     #cookie server1 指定后端服务器设置cookie值，目的实现持久连接，指定的cookie值在请求时会被检查，第一次此cookie值将挑选后端服务器将一直被沿用。
     #weight num权重
     #check启用后端执行健康检测
     #inter num 健康状态检测时间间隔
     #rise num 从故障状态转换至正常需成功检测次数
     #fall num 从正常转换故障需失败次数
     #backup 设置后端真实服务器备份服务器，仅在所有真实服务器不可用启用
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
ACL权限

#3、4层匹配 dst,src 目的IP和源IP（写入frontend中）
#禁止192.168.0.0/24网段用户访问 
acl bad src 192.168.0.0/24
block if bad 

#七层匹配 req.hdr([<>name[,<occ>])
#用户访问www.server2.com时(报头正则匹配)，代理转发给server2 -i是不区分大小写
acl www hdr_reg(host) -i ^(www.server2.com)$
use_backend server2 if www

#acl其他设置
acl url_static path_end .git .png .css .js （URL请求结尾）
acl host_www hdr_beg(host) -i www
acl host_static hdr_beg(host) -i img. video. download. ftp. (域名开头)

日志配置

1
2
3
4
5
6
7
8
vim /etc/rsyslog.d/haproxy.conf

$ModLoad imudp 
$UDPServerRun 514
local3.*    /var/log/haproxy

systemctl restart rsyslog
注：需要重启haproxy服务

配置文件参考：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
global
    chroot /usr/local/haproxy
    log 127.0.0.1 local3 info
    maxconn 100000
    nbproc 1
    user haproxy
    group haproxy
    daemon
    pidfile /usr/local/haproxy/haproxy.pid
	
defaults
    mode http
    maxconn 100000
    option http-keep-alive
    retries 3
    timeout connect 10s
    timeout client 20s
    timeout server 30s
    timeout check 5s

listen stats
   mode http
   bind 0.0.0.0:8888
   stats enable
   stats uri     /haproxy-status 
   stats auth    haproxy:saltstack


frontend http_80_in
    bind 10.10.10.25:80 
    mode http
    option httplog
    option forwardfor
    #option httpclose
    log global
    default_backend webserver
	
	
backend webserver
    mode http
    option redispatch 
    option abortonclose
    balance roundrobin 
    cookie SERVERID  
    option httpchk HEAD / HTTP/1.0
    server nginx1 10.10.10.23:8080 cookie nginx1 weight 6 check inter 2000 rise 2 fall 3
    server nginx2 10.10.10.24:8080 cookie nginx2 weight 6 check inter 2000 rise 2 fall 3
    #server nginx2 10.10.10.30:8080 cookie site.test.com  backup

启动haproxy

1
2
3
4
5
6
7
8
9
10
11
12
13
14
#启动
/usr/local/haproxy/sbin/haproxy -f /etc/haproxy/haproxy.cfg   

#检查
ps -ef |grep haproxy
lsof -i:80

#访问测试
http://10.10.10.25
http://10.10.10.26
http://10.0.10.25:8888/haproxy-status
http://10.0.10.26:8888/haproxy-status

#hatop工具可以查看haproxy工作状态，界面类似top

haproxy_web

haproxy_web

扫一扫，分享到微信

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true


不论我写了什么...
其实都是错的......