rsync-全网备份项目

2017-08-12

字数统计: 2k字 | 阅读时长≈ 9分

定期备份服务器中重要的文件，并且在凌晨00:00执行。备份后发送邮件通知管理员备份状态。

rsync全网备份架构图

具体要求如下：

1)所有服务器的备份目录必须都为/backup。

2)要备份的系统配置文件包括但不限于：

a.定时任务服务的配置文件(/var/spool/cron/root)（适合web和nfs服务器）。

b.开机自启动的配置文件(/etc/rc.local)（适合web和nfs服务器）。

c.日常脚本的目录 (/server/scripts)（适合web和nfs服务器）。

d.防火墙iptables的配置文件(/etc/sysconfig/iptables)。

e.自己思考下还有什么需要备份呢？

3)Web服务器站点目录假定为(/var/html/www)。

4)Web服务器A访问日志路径假定为（/app/logs）

5)Web服务器保留打包后的7天的备份数据即可(本地留存不能多于7天，因为太多硬盘会满)

6)备份服务器上,保留每周一的所有数据副本，其它要保留6个月的数据副本。

7)备份服务器上要按照备份数据服务器的内网IP为目录保存备份，备份的文件按照时间名字保存。

8）需要确保备份的数据尽量完整正确，在备份服务器上对备份的数据进行检查，把备份的成功及失败结果信息发给系统管理员邮箱中

3)
要求：每天晚上00点整在Web服务器上打包备份系统配置文件、网站程序目录及访问日志并通过rsync命令推送

全网备份-项目实践过程

实现rsync数据推送功能

服务端

# 安装
rpm -qa |grep rsync
yum install -y rsync

# rsync配置文件（略）

# 添加备份目录的管理用户信息
useradd -s /sbin/nologin -M rsync

#创建备份数据的目录
mkdir /backup -p
chown -R rsync:rsync /backup

# 创建用户认证文件
echo "rsync_backup:oldboy123" >/etc/rsync.passwd (文件路径需要与配置文件一致)
chmod 600 /etc/rsync.passwd

# 启动rsync服务
rsync --daemon
echo "rsync --daemon" >>/etc/rc.local   开机启动

客户端

# 安装
rpm -qa |grep rsync
yum install -y rsync

# 创建用户认证文件
echo "oldboy123" >/etc/rsync.passwd 
chmod 600 /etc/rsync.passwd

# 测试数据推送功能
rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.passwd

编写备份脚本

NFS01服务器脚本（rsync客户端）

①创建备份目录
mkdir /backup -p

②NFS01和web服务器上压缩备份数据到备份目录
#NFS服务器压缩
tar zcvhf /backup/systemfile_info.tar.gz /var/spool/cron/root  /etc/rc.local /server/scripts /etc/sysconfig/iptables
注：tar打包时使用h参数表示当要打包的数据文件是软链接时不会打包软链接，而是打包真实路径文件

③推送推送命令到rsync服务器
rsync -avz /backup/  rsync_backup@172.16.1.41::nfsbackup --password-file=/etc/rsync.password

④删除7天之前的数据
find /backup -type f  -name "*.tar.gz" -mtime +7 -exec rm {} \;    方法一
find /backup -type f  -name "*.tar.gz" -mtime +7 |xargs rm -f      方法二
find /backup -type f  -name "*.tar.gz" -mtime +7 -delete           方法三

⑤对客户端备份的数据进行指纹验证(指纹文件同备份文件一并rsync到服务器)
 NFS01服务器：cd /backup && md5sum systemfile_info.tar.gz > systemfile_info_md5.txt
 
PS：【rsync服务器验证】
 backup备份服务器指纹验证：cd /backup && md5sum -c systemfile_info.txt
 [root@backup nfsbackup]# md5sum -c systemfile_info_md5.txt 
 systemfile_info.tar.gz: OK 
 
 ⑥脚本编写
 vim /server/scripts/nfs01_backup.sh
 ########################################################################
 #!/bin/bash
 # name: nfs_backup.sh
 # time: 2017.8.12
 # desc: backup rsync client data info
 # author garywu
 
Backup_Dir="/backup"
#创建客户端备份目录
mkdir $Backup_Dir -p

#压缩系统数据到/backup
tar zchf $Backup_Dir/systemfile_info.tar.gz /var/spool/cron/root  /etc/rc.local /server/scripts /etc/sysconfig/iptables
#生成系统压缩数据指纹信息
cd $Backup_Dir/ && md5sum systemfile_info.tar.gz >systemfile_info_md5.txt

#推送系统压缩数据以及指纹文件到rsync服务器41的/nfsbackup目录中
rsync -az $Backup_Dir/  rsync_backup@172.16.1.41::nfsbackup --password-file=/etc/rsync.password

#删除7天之前的数据
find $Backup_Dir -type f  -name "*.tar.gz" -mtime +7 -delete

1 2	注：脚本调试命令 sh -x /server/scripts/nfs.backup.sh

web服务器（rsync客户端）

 vim /server/scripts/web01_backup.sh
 ########################################################################
 #!/bin/bash
 # name: nfs_backup.sh
 # time: 2017.8.12
 # desc: backup rsync client data info
 # author garywu
 
date=`date +%F_%w`   #w显示周几
IP=`hostname -i` 
Backup_Dir="/backup"

#创建客户端备份目录
mkdir $Backup_Dir/${IP} -p
mkdir /var/html/www /app/logs -p

#压缩系统数据到/backup
tar zchf $Backup_Dir/${IP}/${date}_${IP}_systemfile_info.tar.gz /var/spool/cron/root  /etc/rc.local /server/scripts /etc/sysconfig/iptables 
#大文件分开压缩
tar zchf $Backup_Dir/${IP}/${date}_${IP}_www_info.tar.gz /var/html/www  
tar zchf $Backup_Dir/${IP}/${date}_${IP}_www_log.tar.gz /app/logs

#同时给多个文件-生成系统压缩数据指纹信息
cd $Backup_Dir/${IP} && md5sum $(find $Backup_Dir/${IP} -type f -name "${date}*.tar.gz") >${date}_${IP}_systemfile_info_md5.txt

#推送系统压缩数据以及指纹文件到rsync服务器41的/nfsbackup目录中
rsync -az $Backup_Dir/${IP}  rsync_backup@172.16.1.41::nfsbackup --password-file=/etc/rsync.password

#删除7天之前的数据
find $Backup_Dir/${IP} -type f  -name "*.tar.gz" -mtime +7 -delete

NFS服务器-rsync客户端定时任务编写

1
2
3

crontab -e
#备份数据信息
00 00 * * * sh /server/scripts/nfs01_backup.sh &>/dev/null

web服务器-rsync定时任务编写

1
2
3

crontab -e
#备份数据信息
00 00 * * * sh /server/scripts/web01_backup.sh &>/dev/null

rsync服务端脚本

#验证数据完整性
find /backup/ -type f -name "finger.txt" |xargs md5sum -c >/backup/check_info.txt

#将验证结果通过邮件发送给管理员
mail -s "check_rsync_data mail" 617597237@qq.com </backup/check_info.txt  邮件发送邮件方式1
echo "oldboy 37" |mail -s "check_rsync_data mail" 617597237@qq.com   邮件发送邮件方式2

# 配置邮件服务
vim /etc/mail.rc 增加如下：
set from=邮箱地址  smtp=smtp.163.com  
set smtp-auth-user=邮箱账号  smtp-auth-password=授权码信息  smtp-auth=login

#重启服务
/etc/init.d/postfix restart

#测试邮件发送
mail -s "check_rsync_data mail" 617597237@qq.com </backup/check_info.txt  邮件发送邮件方式1
echo "oldboy 37" |mail -s "check_rsync_data mail" 617597237@qq.com   邮件发送邮件方式2

#删除180天前的数据进行删除，但保留每周一数据
find /backup -type f  -name "*.tar.gz" -mtime +180 ! -name "*_1.tar.gz" |xargs rm -f

#################################################################
脚本编写
vim /server/scripts/backup_server.sh

#!/bin/bash

#邮件完整性检查
find /backup/ -type f -name "finger.txt" |xargs md5sum -c >/backup/check_info.txt

#邮件发送数据完整性检查状态
mail -s "check_rsync_data mail" 617597237@qq.com </backup/check_info.txt

#删除180天前的数据进行删除，但保留每周一数据
find /backup -type f  -name "*.tar.gz" -mtime +180 ! -name "*_1.tar.gz" |xargs rm -f

rsync服务端-定时任务

1 2	#凌晨三点整检查备份过来数据完整性 00 3 * * * sh /server/scripts/backup_server.sh

假如今天是8月1日，但是备份时间是晚上00点整，数据备份后正确的是8月2号

1 2	可按如下方法把备份出来的文件日期与实际日期统一 Date_info=`data +F%_%w -d "-1day"`

本文作者： GaryWu
本文链接： https://garywu520.github.io/2017/08/12/rsync-全网备份项目/
版权声明： 本博客所有文章除特别声明外，均采用 MIT 许可协议。转载请注明出处！

jsonContent: meta: false pages: false posts: title: true date: true path: true text: false raw: false content: false slug: false updated: false comments: false link: false permalink: false excerpt: false categories: false tags: true