Rsync文件同步及备份
目录
Rsync文件同步及备份
Rsync基本概述
远程文件传输
服务端口
Rsync的三种传输模式
本地方式（类似cp）
远程方式（类似scp）
守护进程（C/S结构）
Rsync服务实践
环境准备
安装rsync
配置rsync
创建启动服务的用户
创建虚拟用户的密码文件
rsync要求密码文件的权限必须是600
创建一个同步的路径
修改同步路径的属主属主
启动rsync服务
加入开机自启
验证服务启动（进程，端口）
客户端操作
需要交互
报错信息排查
免交互操作
无差异同步
企业中rsync实战案例
环境准备
客户端需求
客户端脚本
服务端需求
服务端脚本
如何配置rsync服务多备份目录
Rsync基本概述
rsync是一款开源、快速、多功能、可实现全量及增量的本地或远程数据同步备份的优秀工具。rsync软件适用于MacOS/Unix/linux/Windows等多种操作系统平台
全量备份：将所有数据都进行一次备份
增量备份：基于全量备份来说，只给增加的部分做备份
远程文件传输
scp命令
语法及使用方式
scp [选项] [源文件] [用户名@主机]:[位置]
scp -r /etc root@172.16.1.31:/tmp
scp只能全量备份，所以效率较低
服务端口
ssh 22
telnet 23
ftp 21
http 80
DNS 53
https 443
rdp 3389
rsync 873
mysql 3306
redis 6379
rsync官方地址：TP
rsync运行模式：C/S
C/S架构：需要一个客户端和服务端
Rsync的三种传输模式
源文件路径的后面如果加/，就会拷贝源文件路径下面的所有文件
如果不加/，就会拷贝源文件和源文件路径下面所有的文件
Rync的数据同步模式
1.推: 所有主机推送本地数据至Rsync备份服务器，会导致数据同步缓慢(适合少量数据备份)
2.拉: rsync备份服务端拉取所有主机上的数据，会导致备份服务器开销大
rsync命令的选项
-a：archive 归档拷贝,包含-tropglD
-v：显示拷贝的详细信息
-z：压缩数据拷贝
-r #递归传输目录及子目录，即目录下得所有目录都同样传输。
-t #保持文件时间信息
-o #保持文件属主信息
-p #保持文件权限
-g #保持文件属组信息
-l #保留软连接
-P #显示同步的过程及传输时的进度等信息
-D #保持设备文件信息
-L #保留软连接指向的目标文件
-e #使用的信道协议,指定替代rsh的shell程序
--exclude=PATTERN #指定排除不需要传输的文件模式
--exclude-from=file #文件名所在的目录文件
--bwlimit=100 #限速传输
--partial #断点续传
--delete #让目标目录和源目录数据保持一致
--password-file=xxx #使用密码文件
本地方式（类似cp）
单个主机本地之间的数据传输
Local: rsync [OPTION...] SRC... [DEST]
选项 源文件 目标文件
## 拷贝/etc目录到/tmp下
[root@backup ~]# rsync -av /etc /tmp/
## 拷贝/etc/目录下的所有文件到/tmp
[root@backup ~]# rsync -av /etc/ /tmp/
远程方式（类似scp）
通过ssh通道传输数据
Rsync借助SSH协议同步数据存在的缺陷
1.使用系统用户（不安全）
2.使用普通用户（会导致权限不足情况）
Pull:拉
Push:推
Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
选项 用户名@主机ip:源文件 目标
Push: rsync [OPTION...] SRC... [USER@]HOST:DEST
选项 源文件 用户名@主机ip:目标
#缺点：必须使用系统用户，用root用户还得知道root用户的密码，普通用户又有可能没有权限
## 将172.16.1.31服务器上的/opt目录及下面的所有文件拉到本地的/etc/目录下
rsync -avz root@172.16.1.31:/opt /etc/
## 将本地/etc目录及下面的所有文件远程传输给172.16.1.31服务器的/opt目录下
rsync -avz /etc root@172.16.1.31:/opt
守护进程（C/S结构）
rsync自身非常重要的功能(不使用系统用户，更加安全)
Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
选项 用户名@主机ip:：模块名 源文件
rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]
Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
选项 源文件 用户名@主机ip::模块名（目标路径）
rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST
#选项
-a：归档同步
-v：显示同步的过程
-z：压缩同步（降低同步时占用的网络带宽）
--delete：无差异同步
--password-file=密码文件：指定用户密码文件，免交互
Rsync服务实践
环境准备
| 主机角色 | 外网IP(WAN) | 内网IP(LAN) | 主机名称 |
|---|---|---|---|
| Rsync服务端 | 10.0.0.41 | 172.16.1.41 | backup |
| Rsync客户端 | 10.0.0.31 | 172.16.1.31 | nfs |
安装rsync
[root@backup ~]# yum -y install rsync
配置rsync
## 查找rsync的配置文件路径,只能查找rpm安装包的信息
[root@backup ~]# rpm -qc rsync
[root@backup ~]$ vim /etc/rsyncd.conf
uid = rsync
#服务启动的用户
gid = rsync
#服务启动的用户组
port = 873
#服务监听的端口
fake super = yes
#假的超级用户，以普通用户身份执行rooy用户能执行的操作
use chroot = no
#禁锢指定的目录，不允许用户跳出到其他目录
max connections = 200
#最大连接数
timeout = 600
#超时时间
ignore errors
#忽略错误提示
read only = false
#只读为false，就是可读可写
list = false
#不允许其他用户查询模块名
auth users = rsync_backup
#虚拟用户,rcync同步需要使用的用户，可随意指定用户
secrets file = /etc/rsync.passwd
#指定存放虚拟用户密码的文件为/etc/rsync.passwd，可随意定义
log file = /var/log/rsyncd.log
#指定srync服务的日志文件存放路径为var/log/rsyncd.log，可随意定义
#--------------------------------------------------------------分割线
[backup]
#模块名，可随意定义
comment = welcome to oldboyedu backup!
#注释，同步的描述信息，随便写
path = /backup
#同步的路径，也就是用户被禁锢的路径
创建启动服务的用户
[root@backup ~]$ useradd rsync -s /sbin/nologin -M
[root@backup ~]$ id rsync
uid=1000(rsync) gid=1000(rsync) groups=1000(rsync)
创建虚拟用户的密码文件
[root@backup ~]$ echo 'rsync_backup:123' > /etc/rsync.passwd
#我们创建的是虚拟用户的密码
#密码文件的格式：用户名:密码
[root@backup ~]$ cat /etc/rsync.passwd
rsync_backup:123
rsync要求密码文件的权限必须是600
chmod 600 /etc/rsync.passwd
创建一个同步的路径
mkdir /backup
修改同步路径的属主属主
chown rsync:rsync /backup/
[root@backup ~]$ ll /backup/ -d
drwxr-xr-x. 2 rsync rsync 6 Jul 6 19:23 /backup/
启动rsync服务
[root@backup ~]# systemctl start rsyncd
加入开机自启
[root@backup ~]# systemctl enable rsyncd
验证服务启动（进程，端口）
[root@backup ~]$ ps -ef|grep [r]sync
root 7444 1 0 Jul06 ? 00:00:00 /usr/bin/rsync --daemon --no-detach
[root@backup ~]$ netstat -lntup|grep 873
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 7444/rsync
tcp6 0 0 :::873 :::* LISTEN 7444/rsync
客户端操作
需要交互
[root@nfs ~]$ rsync -avz /etc rsync_backup@172.16.1.41::backup
Password:
#需要输入密码
报错信息排查
报错1.
[root@nfs ~]$ rsync -avz /etc rsync_backup@172.16.1.41::backup
Password:
@ERROR: auth failed on module bak
rsync error: error starting client-server protocol (code 5) at main.c(1649)
[sender=3.1.2]
排查思路：
1.密码文件的权限不是600
2.密码文件里的密码和手动输入的密码不一致
3.密码文件名字和配置文件中的名字不一致
报错2.
[root@nfs ~]$ rsync -avz /backup/123.txt rsync_backup@172.16.1.41::backup
Password:
sending incremental file list
123.txt
rsync: mkstemp ".123.txt.P2Kfee" (in bak) failed: Permission denied (13)
sent 89 bytes received 120 bytes 139.33 bytes/sec
total size is 0 speedup is 0.00
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at
main.c(1179) [sender=3.1.2]
排查思路：
1.没有关闭selinux
2.备份路径的权限不是配置文件中指定的uid权限
报错3.
[root@nfs ~]# rsync -avz /var rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.passwd
ERROR: password file must not be other-accessible
rsync error: syntax or usage error (code 1) at authenticate.c(196) [sender=3.1.2]
排查思路：
客户端的密码文件权限必须也是600
免交互操作
# 1.创建密码文件（客户端的密码文件只写密码不写用户）
[root@nfs ~]$ echo '123' > /etc/rsync.passwd
[root@nfs ~]$ chmod 600 /etc/rsync.passwd
[root@nfs ~]$ rsync -avz /var rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.passwd
# 2.使用rsync的环境变量
[root@nfs ~]$ export RSYNC_PASSWORD=123
[root@nfs ~]$ rsync -avz /var rsync_backup@172.16.1.41::backup
无差异同步
#为了保持数据的一致性
[root@nfs ~]$ mkdir /opt/date
[root@nfs ~]$ rsync -avz --delete /opt/date rsync_backup@172.16.1.41::backup
企业中rsync实战案例
环境准备
| 角色 | 外网IP(WAN) | 内网IP(LAN) | 主机名 |
|---|---|---|---|
| rsync客户端 | 10.0.0.7 | 172.16.1.7 | web01 |
| rsync客户端 | 10.0.0.31 | 172.16.1.31 | nfs |
| rsync服务端 | 10.0.0.41 | 172.16.1.41 | backup |
客户端需求
1.客户端提前准备存放的备份的目录，目录格式如下: /backup/nfs_172.16.1.31_2018-09-02
# 在web01和nfs服务器上创建备份目录
[root@nfs ~]$ mkdir /backup
[root@web01 ~]$ mkdir /backup
2.客户端在本地打包备份(系统配置文件、应用配置等)拷贝至/backup/nfs_172.16.1.31_2018-09-02
#打包备份/etc/passwd
mkdir /backup/$(hostname)_$(ifconfig eth0|awk 'NR==2 {print $2}')_$(date +%F)
tar zcf /backup/$(hostname)_$(ifconfig eth0|awk 'NR==2 {print $2}')_$(date +%F)/pass.tgz /etc/passwd
3.客户端最后将备份的数据进行推送至备份服务器
rsync -az /backup/$(hostname)_$(ifconfig eth0|awk 'NR==2 {print $2}')_$(date +%F)/pass.tgz rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.passwd
4.客户端每天凌晨1点定时执行该脚本
[root@web01 ~]$ crontab -l
00 01 * * * /usr/bin/sh /root/backup.sh &>/dev/null
5.客户端服务器本地保留最近7天的数据, 避免浪费磁盘空间
find /backup ! -mtime -7|xargs rm -f
客户端脚本
#!/bin/bash
#if [ -d /backup ];then
# echo '存在'
#else
# echo '不存在'
#fi
#将/backup目录设置为变量bak_dir
bak_dir=/backup
#将命令$(hostname)设置为变量HOSTNAME
HOSTNAME=$(hostname)
#将主机IP设置为变量IP
IP=$(/usr/sbin/ifconfig eth1|awk 'NR==2{print $2}')
#将时间命令$(date +%F)设置为变量DATE
DATE=$(date +%F)
#将/backup/主机名_IP_时间 这个格式的目录设置为变量tar_dir
tar_dir=$bak_dir/${HOSTNAME}_${IP}_${DATE}
#设置临时变量：指定虚拟用户密码为123
export RSYNC_PASSWORD=123
#创建/backup目录
mkdir -p $bak_dir
#递归创建/backup/主机名_IP_时间，这个目录
mkdir -p $tar_dir
#到/etc目录下：为防止tar命令的/报错
cd /etc
#等于tar zcf /backup/主机名_IP_时间/passwd.tgz passwd
tar zcf $tar_dir/passwd.tgz passwd
#等于md5sum /backup/主机名_IP_时间/passwd.tgz > /backup/主机名_IP_时间/md5.check 表示利用md5sum工具给压缩包对应的随机数后，将随机数存放至/backup/主机名_IP_时间目录下的md5.check文件中
md5sum $tar_dir/passwd.tgz > $tar_dir/md5.check
#将/backup目录中的内容备份至服务端,注意$bak_dir/带根了，只复制目录下面的所有内容，不包括目录本身
rsync -az $bak_dir/ rsync_backup@172.16.1.41::backup
#删除/backup目录中7天以前的信息
find /backup ! -mtime -7|xargs rm -f
服务端需求
1.服务端部署rsync，用于接收客户端推送过来的备份数据
[root@backup ~]$ vim /etc/rsyncd.conf
uid = rsync
gid = rsync
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
auth users = rsync_backup
secrets file = /etc/rsync.passwd
log file = /var/log/rsyncd.log
#--------------------------------------------------------------
[backup]
comment = welcome to oldboyedu backup!
path = /backup
然后配置好用户及文件，同上配置rsync服务
2.服务端需要每天校验客户端推送过来的数据是否完整
1.在客户端打包完成之后，先要生成一个md5值保存到文件里
md5sum /backup/主机名_IP_时间/passwd.tgz > /backup/主机名_IP_时间/md5.check
2.在服务端使用md5sum -c来校验数据的完整性
md5sum -c /backup/主机名_IP_时间/md5.check
3.服务端需要每天校验的结果通知给管理员
1.配置邮件
2.将校验的结果通过邮件发送到管理员的邮箱
md5sum -c md5.check |mail md5校验数据 1946354906@qq.com
3.编写定时任务
[root@backup ~]$ crontab -e
#每天执行一次校验脚本
00 00 * * * /usr/bin/sh /root/backup.sh &> /dev/null
4.服务端仅保留6个月的备份数据,其余的全部删除
find /backup ! -mtime -180|xargs rm -f
服务端脚本
#!/bin/bash
#将/backup设置为变量bak_dir
bak_dir=/backup
#将执行hostname命令后的结果设置为变量HOSTNAME
HOSTNAME=$(hostname)
#将主机内网IP设置为变量IP
IP=$(/usr/sbin/ifconfig eth1|awk 'NR==2{print $2}')
#将执行hostname命令后的结果设置为变量HOSTNAME
HOSTNAME=$(hostname)
#将主机内网IP设置为变量IP
IP=$(/usr/sbin/ifconfig eth1|awk 'NR==2{print $2}')
#将date +%F命令执行后的日期信息设置为变量DATE
DATE=$(date +%F)
#将/backup/主机名_主机IP_时间信息 这个格式的目录设置为变量tar_dir
tar_dir=$bak_dir/${HOSTNAME}_${IP}_${DATE}
#利用md5sum -c命令校验/backup/主机名_主机IP_时间信息/ 下面的所有存放随机数的文件，并用邮件将校验结果发给指定用户
md5sum -c $bak_dir/*/*.check|mail -s "备份数据校验结果${DATE}" 1946354906@qq.com
#其他信息放进黑洞文件
&>/dev/null
#服务端删除6个月之前的备份文件
find $bak_dir ! -mtime -180|xargs rm -f
配置邮件
vim /etc/mail.rc
set from=#发邮件的qq邮箱
set smtp=smtps://smtp.qq.com:465
set smtp-auth-user=#发邮件的qq邮箱
set smtp-auth-password=#客户端授权码
set smtp-auth=login
set ssl-verify=ignore
set nss-config-dir=/etc/pki/nssdb/
如何配置rsync服务多备份目录
[root@backup ~]# vim /etc/rsyncd.conf
#-------------------------------
#模块名
[backup]
#同步的描述信息
comment = xxx
#同步的路径
path = /backup
#------------------------------
[backup2]
comment = aaa
path = /backup2
#根据配置文件创建出对应的目录
[root@backup ~]$ mkdir /backup2
#再更改新目录属主属组信息
[root@backup ~]$ chown rsync.rsync /backup2/
#只要改完配置文件一定要重启服务
[root@backup ~]$ systemctl restart rsyncd
#客户端同步
[root@nfs ~]$ rsync -avz /etc rsync_backup@172.16.1.41::backup2
