一、前言
Linux 集群从功能上可以分为两大类：高可用集群和负载均衡集群。此处只讲高可用集群，负载均衡放在下一篇博客讲解。
高可用集群（High Availability Cluster，简称 HA）包括两台及以上的服务器，通常为两台服务器，其中一台工作，另一条冗余，当提供服务的服务器宕机时，冗余的那台服务器将接替宕机的服务器继续提供服务。只有两个节点的高可用集群又称为双机热备，即使用两台服务器互相备份。从而在不需要人工干预的 情况下，自动保证系统能持续对外提供服务。双机热备只是高可用集群的一种，高可用集群系统更可以支持两个以上的节点，提供比双机热备更多、更高级的功能， 更能满足用户不断出现的需求变化。
实现高可用集群的开源软件有 Heartbeat 和 Keepalived 等。
二、Keepalived 简介
Keepalived 是通过 VRRP（Virtual Router Redundancy Protocal）协议来实现高可用的。VRRP 协议会将多台功能相同的路由器组成一个小组，这个小组里有一个 master 主节点和 N（N >=1）个 backup 备用节点。工作时， master 会通过组播的形式向各个 backup 发送 VRRP 协议的数据包，当 backup 收到 master 发来的 VRRP 数据包时，就会认为 master 宕机了。此时就需要根据各个 backup 的优先级来决定谁称为新的 master，来提供服务。
Keepalived 有三个模块，分别是 core、check 和 vrrp。其中，core 模块是 Keepalived 的核心功能，负责主进程的启动、维护以及全局配置文件的加载和解析；check 模块负责健康检查；vrrp 模块用来实现 VRRP 协议。
Keepalived 官方网站：https://www.keepalived.org/
三、创建 Keepalived （单主）高可用集群
以下使用 Keepalived+Nginx 实现（单主）高可用的 Web 集群，所谓单主，即只有一个 master 主节点在工作，另一台节点作为 backup，处于空闲。
3.1 准备集群节点
准备两台 server，一台作为 master 节点，一台作为 backup 节点。
master 节点：hostname：masternode，IP Address：192.168.56.110
backup节点：hostname：datanode1，IP Address：192.168.56.111
Virtual IP（VIP）：192.168.56.100
两台 server 都需要安装 Keepalived 和 Nginx，而且在安装服务后关闭防火墙和 selinux，此处以在 master 节点上安装为例，在 backup 节点上安装是相同的，如下均使用 yum 安装的方式：
安装 Keepalived，如下：
[root@masternode ~]# rpm -qa |grep keepalived
[root@masternode ~]# yum install -y keepalived
[root@masternode ~]# rpm -qa |grep keepalived
keepalived-1.3.-.el7_6.x86_64
安装 Nginx，如下：
[root@masternode ~]# rpm -qa |grep nginx
[root@masternode ~]# yum install -y nginx
Loaded plugins: fastestmirror, langpacks
Loading mirror speeds from cached hostfile
* base: mirrors.huaweicloud.com
* extras: mirrors.huaweicloud.com
* updates: mirrors.huaweicloud.com
No package nginx available.
Error: Nothing to do
提示在 yum 源中没有 nginx 的软件包，表示默认情况 Centos7 中并没有 nginx 的源，但是 Nginx 官网提供了 Centos 的源地址：
64位系统的 Nginx 源地址：rpm -Uvh http://nginx.org/packages/centos/7/x86_64/RPMS/nginx-1.16.0-1.el7.ngx.x86_64.rpm
不区分32还是64的 Nginx 源地址：rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm
或者添加 CentOS 的扩展源：
[root@masternode ~]# yum install -y epel-release
[root@masternode ~]# yum search nginx
......
[root@masternode media]# yum install -y nginx
......
yum 安装 Nginx 后，默认路径为：
/etc/nginx 为 Nginx 的程序安装目录，/etc/share/nginx/html 为网站根目录。
关闭防火墙和 selinux，如下：
[root@masternode ~]# systemctl stop firewalld.service
[root@masternode ~]# systemctl disable firewalld.service
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
[root@masternode ~]# getenforce
Disabled
backup 节点也按照上面的步骤准备即可。
3.2 设置 master 主服务器的 keepalived
编辑 master 服务器上的 Keepalived 配置文件，清空原始配置，将 VIP 设置为 100，此处的 VIP 指 Virtual IP，即 "虚拟 IP"，或者叫浮动 IP，因为这个 IP 是由 Keepalived 给服务器配置上的，服务器靠这个 VIP 对外提供服务，当 master 机器宕机，VIP 被分配到 backup 上，而对用户来说是无感知的。
首先查看网卡 ifcfg-enp0s8，准备将 VIP 绑定到此网卡。
[root@masternode network-scripts]# ls -l ifcfg-enp0s8
-rw------- root root May ifcfg-enp0s8
[root@masternode network-scripts]# pwd
/etc/sysconfig/network-scripts
[root@masternode network-scripts]# ls -l ifcfg-enp0s8
-rw------- root root May ifcfg-enp0s8
编辑配置文件 /etc/keepalived/keepalived.conf，设置为如下内容：
[root@masternode ~]# cd /etc/keepalived
[root@masternode keepalived]# ls -ltr
total
-rw-r--r-- root root Jul : keepalived.conf
[root@masternode keepalived]# vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived global_defs { #定义全局参数
notification_email { #出现问题时给此邮箱通知
admin@moonxy.com
}
notification_email_from root@moonxy.com #定义发邮件地址
smtp_server 127.0.0.1 #表示使用本机自带的邮件服务器发送
smtp_connect_timeout
router_id LVS_DEVEL
} vrrp_script chk_nginx { # chk_nginx 为自定义名字，后面还会使用到
script "/usr/local/sbin/check_nginx.sh" #自定义脚本，用于监控Nginx服务
interval #每隔3秒执行一次该脚本
} vrrp_instance VI_1 {
state MASTER #定义角色为master
interface enp0s8 #针对哪个网卡监听VIP
virtual_router_id
priority #权重为100，master权重要比backup大
advert_int
authentication {
auth_type PASS
auth_pass moonxy>com #自定义密码
}
virtual_ipaddress {
192.168.56.100 #定义VIP
}
track_script {
chk_nginx #定义监控脚本，与vrrp_script后的名字一致
}
}
Keepalived 要实现高可用，必须要监控 Nginx 服务，而它本身没有这个功能，需要自定义脚本来实现，并设置为 755 权限，如下：
[root@masternode ~]# cd /usr/local/sbin
[root@masternode sbin]# vim /usr/local/sbin/check_nginx.sh
#!/bin/bash
#author:moonxy
#时间变量，用于记录日志
d=`date --date today +%Y%m%d_%H:%M:%S`
#计算Nginx进程数量
n=`ps -C nginx --no-heading|wc -l`
#如果进程数为0，则启动Nginx，并且再次检测nginx进程数量
#如果数量还为0，说明Nginx无法启动，此时需要关闭Keepalived
if [ $n -eq ""]; then
systemctl start nginx
n2=`ps -C nginx --no-heading|wc -l`
if [ $n2 -eq "" ]; then
echo "$d nginx down,keepalived will stop" >> /var/log/check_nginx.log
systemctl stop keepalived
fi
fi
[root@masternode sbin]# chmod /usr/local/sbin/check_nginx.sh
启动 keepalived 之前，使用 ip addr 或者 ip add 查看网卡 enp0s8 绑定的 IP 地址，如下：
启动 keepalived 服务后，发现网卡 enp0s8 已经绑定了 VIP 的地址：192.168.56.100，而且在启动 keepalived 时，会自动通过检测脚本 /usr/local/sbin/check_nginx.sh，来启动 nginx，如下：
即使 nginx 在使用中突然停止服务，只要 keepalived 服务正常，便会每三秒钟检测一次脚本，来启动 nginx。
3.3 设置 backup 从服务器的 keepalived
按照同样方法设置 backup 从服务器，编辑 /etc/keepalived/keepalived.conf 和创建 /usr/local/sbin/check_nginx.sh，只不过在 /etc/keepalived/keepalived.conf 中，将 state 设置为 BACKUP，将 priority 设置为 90，如下：
[root@datanode1 keepalived]# vim keepalived.conf
! Configuration File for backup keepalived global_defs {
notification_email {
admin@moonxy.com
}
notification_email_from root@moonxy.com
smtp_server 127.0.0.1
smtp_connect_timeout
router_id LVS_DEVEL
} vrrp_script chk_nginx {
script "/usr/local/sbin/check_nginx.sh"
interval
} vrrp_instance VI_1 {
state BACKUP
interface enp0s8
virtual_router_id
priority
advert_int
authentication {
auth_type PASS
auth_pass moonxy>com
}
virtual_ipaddress {
192.168.56.100
}
track_script {
chk_nginx
}
}
启动 Keepalived 服务，并查看进程，如下：
可以看到 keepalived 和 nginx 进程已经启动。
/usr/local/sbin/check_nginx.sh 与 master 的内容一样，不需要修改。
3.4 区分主从 Nginx 服务器
master 主服务器的 Nginx 版本为 1.16.0
访问 master 的地址：192.168.56.110，index.html
backup 从服务器的 Nginx 版本为 1.12.2
访问 backup 的地址：192.168.56.111，index.html
访问 VIP 的地址：192.168.56.100，index.html 如下：
由于两台 server 的 nginx 版本不同，主页也刚好不同，所以很容易区分主从服务器。如果使用的相同版本的 nginx，为了区分主从服务器，可以修改网站根目录下的 index.html 来区分。
通过 yum 安装的 nginx，可以先找到 nginx 的虚拟主机默认的配置文件 /etc/nginx/nginx.conf 或 /etc/nginx/conf.d/default.conf，找到网站根目录为 /usr/share/nginx/html，修改其中的 index.html 首页内容，如下：
3.5 测试 Keepalived 高可用
模拟生产环境中的宕机，将 master 服务器上的 Keepalived 服务停掉，此时 VIP 地址将从 master 上被释放，而绑定到 backup 上，如下：
先停掉 master 的 keepalived，如下：
[root@masternode nginx]# systemctl stop keepalived
发现 VIP 已经被释放，如下：
发现此时 VIP 绑定到了 backup 服务器上，如下：
访问 VIP 地址，发现已经切换到了 backup 服务器的 nginx 上，如下：
如果此时又启动 master 的 keepalived，再次访问 VIP 时，又会切换到 master 的 nginx，因为 master 的优先级高。
四、创建 Keepalived （双主）高可用集群
上面的 Keepalived + Nginx 主备模式，始终存在一台服务器处于空闲状态，如何更好地把两台服务器利用起来，可以借助 keepalived + Nginx 双主架构来实现，在该架构中，同时两台对外提供服务，拥有两个 VIP 地址，同时接收用户的请求。
4.1 准备集群节点
准备两台 server，第一台作为 master 节点，也作为第二台的 backup 节点，第二台作为第一台 backup 节点，也作为第二台的 master 节点。
第一台节点：hostname：masternode，IP Address：192.168.56.110
第二台节点：hostname：datanode1，IP Address：192.168.56.111
Virtual IP1（VIP1）：192.168.56.105
Virtual IP2（VIP2）：192.168.56.106
4.2 准备第一台节点
编辑配置文件 /etc/keepalived/keepalived.conf，设置为如下内容：
[root@masternode keepalived]# vim /etc/keepalived/keepalived.conf
! Configuration File for two master mode keepalived global_defs {
notification_email {
admin@moonxy.com
}
notification_email_from root@moonxy.com
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
} vrrp_script chk_nginx {
script "/usr/local/sbin/check_nginx.sh"
interval 3
} #VIP1 for MASTER
vrrp_instance VI_1 {
state MASTER
interface enp0s8
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass moonxy>com
}
virtual_ipaddress {
192.168.56.105
}
track_script {
chk_nginx
}
} #VIP2 for BACKUP
vrrp_instance VI_2 {
state BACKUP
interface enp0s8
virtual_router_id 52
priority 90
advert_int 1
authentication {
auth_type PASS
auth_pass moonxy>com
}
virtual_ipaddress {
192.168.56.106
}
track_script {
chk_nginx
}
}
可以看到配置了两个 VIP 地址。
4.3 准备第二台节点
编辑配置文件 /etc/keepalived/keepalived.conf，设置为如下内容：
[root@datanode1 keepalived]# cat keepalived.conf
! Configuration File for backup keepalived global_defs {
notification_email {
admin@monnxy.com
}
notification_email_from root@moonxy.com
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
} vrrp_script chk_nginx {
script "/usr/local/sbin/check_nginx.sh"
interval 3
} #VIP1 for BACKUP
vrrp_instance VI_1 {
state BACKUP
interface enp0s8
virtual_router_id 51
priority 90
advert_int 1
authentication {
auth_type PASS
auth_pass moonxy>com
}
virtual_ipaddress {
192.168.56.105
}
track_script {
chk_nginx
}
} #VIP2 for MASTER
vrrp_instance VI_2 {
state MASTER
interface enp0s8
virtual_router_id 52
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass moonxy>com
}
virtual_ipaddress {
192.168.56.106
}
track_script {
chk_nginx
}
}
同样可以看到配置了两个 VIP 地址，主从的 virtual_router_id 需要分别保持一致。
4.4 启动服务
启动两台 server 的 keepalived 服务后，查看 VIP 绑定情况，如下：
可以看到 masternode 绑定了 VIP1。
可以看到 datanode1 节点绑定了 VIP2。
4.5 测试
访问：http://192.168.56.105/
访问：http://192.168.56.106/
比如现在某一台 server 宕机，则两个 VIP 全都会绑定到另一台 server 上。如下停掉了 datanode1，两个 VIP 全都绑定到了 masternode：
此时浏览器访问 http://192.168.56.105/
访问 http://192.168.56.106/
注意：停掉 keepalived 之后，各自服务器上的 nginx 依然能够正常访问，只不过是通过各自的 IP 地址直接访问。
在使用双主架构的 keepalived 时需要注意：
keepalived 主配置文件必须设置不同的 VRRP 名称，同时优先级和 VIP 设置各不相同。
Nginx 网站总访问量为两台 Nginx 服务器访问之和，可以写脚本自动统计访问量。
两台 Nginx 为 master，存在两个 VIP 地址，用户从外网访问 VIP，需要配置域名映射到两个 VIP 上方即可。
通过外网 DNS 映射不同 VIP 的方法也称为 DNS 负载均衡模式。
可以通过 Zabbix 实时监控 VIP 访问状态是否正确。
