haproxy详解

1，HAProxy是什么

HAProxy was written in 2000 by Willy Tarreau,a french and core contributor to the Linux kernel, who still maintains the project.

HAProxy是一个开源、快速可靠的高可用、负载均衡解决方案，提供基于L4(IP+PORT，报文解析到传输层tcp、udp)和L7(解析流量报文到http协议)的流量分发代理。特别适合高流量网站巨量访问转发。它已经成为开源负载均衡器事实上的标准，可运行于大部分主流的Linux操作系统之上。

包括amazon、github、airbnb、Alibaba/Taobao CDN、Reddit、twitter等知名公司网络系统都使用了haproxy。

官网地址 http://haproxy.org/

Github地址https://github.com/haproxy/haproxy

最新稳定版文档地址https://cbonte.github.io/haproxy-dconv/2.0/intro.html

docker image地址：https://hub.docker.com/_/haproxy

2，HAProxy的核心功能

负载均衡：L4和L7两种模式，支持roundrobin/static-rr/leastcon(WLC)/IP Hash/URI Hash/URL_PARAM Hash/HTTP_HEADER/rdp-cookie(name)等丰富的负载均衡算法

健康检查：支持TCP和HTTP两种健康检查模式

会话保持：对于未实现会话共享的应用集群，可通过Insert Cookie/Rewrite Cookie/Prefix Cookie，以及上述的多种Hash方式实现

SSL：HAProxy可以解析HTTPS协议，并能够将请求解密为HTTP后向后端传输

HTTP请求重写与重定向：对访问定向和设置转发规则，拒绝连接等

监控与统计：提供统计信息Web页面，展现健康状态和流量数据。使用者可基于此开发监控程序来监控HAProxy的状态

高可用：可轻易于keepalive集成，组成cluster
 

性能

采用多线程、事件驱动、非阻塞模型，显著降低了上下文切换的开销和内存占用，能在1ms内处理数百个请求，尽管ps aux显示是单个进程。

O(1)事件检查器(event checker)允许其在高并发连接中对任何连接的任何事件实现即时探测。

单缓冲(single buffering)机制能以不复制任何数据的方式完成读写操作，节约大量的CPU时钟周期及内存带宽。

大量调用OS kernel本身的功能特性，通常情况下，HAProxy自身只占用15%的处理时间，剩余的85%都是在系统内核层完成的。

HAProxy作者在2009年使用1.4版本进行了一次测试，单个HAProxy进程的处理能力突破了10万请求/秒，并轻松占满了10Gbps的网络带宽。
 

稳定性

作者建议以单进程模式运行的程序，HAProxy对稳定性的要求十分严苛。HAProxy一旦成功启动，除非操作系统或硬件故障，否则就不会崩溃。

HAProxy的大部分工作都是在操作系统内核完成的，所以HAProxy的稳定性主要依赖于操作系统linux。
 

3，HAProxy的安装和运行

下载最新稳定版

wget http://www.haproxy.org/download/2.0/src/haproxy-2.0.5.tar.gz

tar -xf haproxy-2.0.5.tar.gz

cd haproxy-2.0.5.tar
 

#普通安装方式，haproxy不支持SSL

make TARGET=linux2628 ARCH=x86_64 prefix=/usr/local/haproxy install
 

#需要haproxy支持SSL时，使用如下编译方式

make TARGET=linux2628 ARCH=x86_64 USE_OPENSSL=1 ADDLIB=-lz prefix=/usr/local/haproxy install
 

#参数说明

TARGET=linux26 #内核版本，使用uname -r查看内核，如：2.6.18-371.el5，此时该参数就为linux26；kernel 大于2.6.28的用：TARGET=linux2628

ARCH=x86_64 #系统位数

PREFIX=/usr/local/haprpxy #/usr/local/haprpxy为haprpxy安装路径
 

#将haproxy和openssl库连接

ldd haproxy | grep ssl
 

常用命令

haproxy -v 查看版本

haproxy -f configuration.conf -c 检测配置文件语法正确性

haproxy -f configuration.cfg -D -p /var/run/haproxy.pid 启动haproxy

haproxy -vv 显示当前haproxy运行详细信息

haproxy -f configuration.cfg -sf $(cat /var/run/haproxy.pid) 重载相当于reload

haproxy -f configuration.cfg -st $(cat /var/run/haproxy.pid) 重启，关闭stop后start

killall haproxy 关闭haproxy

4，HAProxy关键配置详解：

haproxy 的配置文件共分为五段：global，defaults，frontend，backend，listen

“global”段全局配置参数、进程级的，用来控制haproxy启动前的一些进程及系统设置

“defaults”段配置默认参数，可被frontend、backend、listen段继承使用

“frontend”段接受客户端请求并与之建立连接，可针对请求的域名、uri做不同的匹配

“backend”段定义接受客户端请求的服务器，并根据权重、队列、连接数等选项分发请求

“listen”段通过关联“frontend”和“backend”定义了一个完整的代理，通常只对TCP流量有用。

所有代理的名称只能使用大写字母、小写字母、数字、-(中线)、_(下划线)、.(点号)和:(冒号)。此外，ACL名称会区分字母大小写。

一个配置样例：

####全局配置####

global

　　log 127.0.0.1 local0 #[日志输出配置，所有日志都记录在本机，通过local0输出]

　　log 127.0.0.1 local1 notice #定义haproxy 日志级别[error warringinfo debug]

　　daemon #后台运行harpoxy

　　nbproc 1 #设置进程数量

　　maxconn 4096 #默认最大连接数,需考虑ulimit-n限制

　　#user haproxy #运行haproxy的用户

　　#group haproxy #运行haproxy的用户所在的组

　　#pidfile /var/run/haproxy.pid #haproxy的进程PID文件

　　#ulimit-n 819200 #ulimit 的数量限制

　　#chroot /usr/share/haproxy #chroot运行路径

　　#debug #haproxy 调试级别，建议只在开启单进程的时候调试

####默认配置####

defaults

　　log global

　　mode http #默认的模式mode { tcp|http|health }，tcp是4层，http是7层，health只会返回OK

　　option httplog #日志类别,采用httplog

　　option dontlognull #不记录健康检查日志信息

　　retries 2 #两次连接失败就认为是服务器不可用

　　#option forwardfor #如果后端服务器需要获得客户端真实ip需要配置的参数，可以从Http Header中获得客户端ip

　　option httpclose #每次请求完毕后主动关闭http通道

　　#option redispatch #当serverId对应的服务器挂掉后，强制定向到其他健康的服务器

　　option abortonclose #当服务器负载很高的时候，自动结束掉当前队列处理比较久的链接

　　maxconn 4096 #默认的最大连接数

　　timeout connect 5000ms #连接超时

　　timeout client 30000ms #客户端超时

　　timeout server 30000ms #服务器超时

　　#timeout check 2000 #心跳检测超时

　　#timeout http-keep-alive10s #默认持久连接超时时间

　　#timeout http-request 10s #默认http请求超时时间

　　#timeout queue 1m #默认队列超时时间

　　balance roundrobin #设置默认负载均衡方式，轮询方式

　　#balance source #设置默认负载均衡方式，类似于nginx的ip_hash

　　#balnace leastconn #设置默认负载均衡方式，最小连接数

####统计页面配置####

listen stats

　　bind 0.0.0.0:1080 #鉴定IP及端口

　　mode http #http的7层模式

　　option httplog #采用http日志格式

　　#log 127.0.0.1 local0 err #错误日志记录

　　maxconn 10 #默认的最大连接数

　　stats refresh 30s #统计页面自动刷新时间

　　stats uri /stats #统计页面url

　　stats realm Haproxy #统计页面密码框上提示文本

　　stats auth admin:123456 #设置监控页面的用户和密码:admin,可以设置多个用户名

　　stats hide-version #隐藏统计页面上HAProxy的版本信息

　　stats admin if TRUE #设置手工启动/禁用后端服务器(haproxy-1.4.9以后版本)

####设置haproxy 错误页面####

#errorfile 403 /home/haproxy/haproxy/errorfiles/403.http

#errorfile 500 /home/haproxy/haproxy/errorfiles/500.http

#errorfile 502 /home/haproxy/haproxy/errorfiles/502.http

#errorfile 503 /home/haproxy/haproxy/errorfiles/503.http

#errorfile 504 /home/haproxy/haproxy/errorfiles/504.http

####frontend前端配置####

frontend main

　　bind *:80

　　acl web hdr(host) -i www.abc.com #acl后面是规则名称，-i为忽略大小写，后面跟的是要访问的域名，如果访问www.abc.com这个域名，就触发web规则

　　acl img hdr(host) -i img.abc.com #如果访问img.abc.com这个域名，就触发img规则

　　use_backend webserver if web #如果上面定义的web规则被触发，即访问www.abc.com，就将请求分发到webserver这个作用域。

　　use_backend imgserver if img #如果上面定义的img规则被触发，即访问img.abc.com，就将请求分发到imgserver这个域

　　default_backend dynamic #不满足则响应backend的默认页面

####backend后端配置####

backend webserver #webserver作用域

　　mode http

　　balance roundrobin #负载均衡算法

　　option httpchk /index.html HTTP/1.0 #健康检查, 检测文件，http版本

　　server web1 10.16.0.9:8085 weight 5 check inter 2000 rise 2 fall 3

　　server web2 10.16.0.10:8085 weight 3 check inter 2000 rise 2 fall 3

　　#rise 2是2次正确认为服务器可用，fall 3是3次失败认为服务器不可用，weight代表权重

####完整的代理设置####

listen tcptest

　　bind 0.0.0.0:8080

　　mode tcp

　　balance source

　　server s1 192.168.100.206:22 weight 1

　　server s2 192.168.100.208:22 weight 1

5，负载均衡算法详解：

一、roundrobin，表示简单的轮询，每个服务器根据权重轮流使用，在服务器的处理时间平均分配的情况下这是最流畅和公平的算法。该算法是动态的，对于实例启动慢的服务器权重会在运行中调整。

二、static-rr，表示每个服务器根据权重轮流使用，类似roundrobin，但它是静态的，运行时修改权限是无效的。

三、leastconn，表示最少连接者先处理，建议用于长会话服务，例如LDAP、SQL、TSE等，而不适合短会话协议。该算法是动态的。

四、first, 第一台可用的server接受连接请求，当连接达到最大值时，下一台server才会被启用。该算法会忽略server的权重，适合长连接如RDP、http、IMAP等。

五、source，表示根据请求源IP进行哈希，用可用服务器的权重总数除以哈希值，根据结果进行分配。

如果哈希的结果随可用服务器数量而变化，那么客户端会定向到不同的服务器；

该算法一般用于不能插入cookie的Tcp模式。它还可以用于广域网上为拒绝使用会话cookie的客户端提供最有效的连接；

该算法默认是静态的，但会根据“hash-type”的变化做调整。

六、uri，表示根据请求的URI；表示根据请求的URI左端（问号之前）进行哈希，用可用服务器的权重总数除以哈希值，根据结果进行分配。

只要服务器正常，同一个URI地址总是访问同一个服务器。

一般用于代理缓存和反病毒代理，以最大限度的提高缓存的命中率。该算法只能用于HTTP后端；一般用于后端是缓存服务器；

该算法默认是静态的。

七、url_param，表示根据请求的URl参数'balance url_param' requires an URL parameter name

在HTTP GET请求的查询串中查找<param>中指定的URL参数，基本上可以锁定使用特制的URL到特定的负载均衡器节点的要求；

该算法一般用于将同一个用户的信息发送到同一个后端服务器；

该算法默认是静态的。

八、hdr(name)，表示根据HTTP请求头来锁定每一次HTTP请求；

在每个HTTP请求中查找HTTP头<name>，HTTP头<name>将被看作在每个HTTP请求，并针对特定的节点；

如果缺少头或者头没有任何值，则用roundrobin代替；

该算法默认是静态的。

九、rdp-cookie(name)，表示根据据cookie(name)来锁定并哈希每一次TCP请求。

为每个进来的TCP请求查询并哈希RDP cookie<name>；

该机制用于退化的持久模式，可以使同一个用户或者同一个会话ID总是发送给同一台服务器。

如果没有cookie，则使用roundrobin算法代替；

该算法默认是静态的

6，健康检查机制：
HAProxy作为Loadbalancer,支持对backend的健康检查,以保证在后端backend不能服务时，把从frotend进来的request分配至其它可服务的backend，从而保证高可用。

相关配置

option httpchk #启用七层健康检测

http-check disable-on-404 #如果backend返回404，则除了长连接之外的后续请求将不被分配至该backend

http-check send-state #增加一个header，同步HAProxy中看到的backend状态。该header为server可见。 X-Haproxy-Server-State: UP 2/3; name=bck/srv2; node=lb1; weight=1/2; scur=13/22; qcur=0

sample:

listen proxy-nginx

bind 0.0.0.0:8080

mode http

balance roundrobin

option httpchk HEAD / HTTP/1.0

server nginx_1 172.17.0.3:80 weight 5 inter 200 check fall 3 rise 2

server nginx_1 172.17.0.4:80 weight 5 inter 200 check fall 3 rise 2

server option:

check：启用健康检测

inter：健康检测间隔

rise：检测服务可用的连续次数

fall：检测服务不可用的连续次数

error-limit：往server写数据连续失败的次数上限，执行on-error的设定

observe ：把正常服务过程作为健康检测请求，即实时检测

on-error ：满足error-limit后执行的操作（fastinter、fail-check、sudden-death、mark-down） 。其中fastinter表示立即按照fastinter的检测延时进行。fail-check表示改次error作为一次检测；sudden-death表示模仿一次fatal，如果紧接着一次fail则置server为down;mark-down表示直接把server置为down状态。

retries：连接失败重试的次数，如果重试该次数后还不能正常服务，则断开连接。

Thank you for your time!