inotify+rsync实时同步

实时同步原理

实现实时同步备份数据的过程（从原理方面）

1）部署rsync服务

2）部署inotify监控服务

3）让rsync服务与inotify服务结合(利用脚本结合)。

部署rsync服务

部署rsync服务端

#检查rsync软件是否安装并安装

#配置rsync配置文件
 vim /etc/rsyncd.conf
 man rsyncd.conf  #查看配置帮助
 
#创建备份目录管理用户
 useradd  -s /sbin/nologin -M rsync
 
#创建备份目录
 mkdir /nfsbackup -p
 chown -R rsync:rsync /nfsbackup
 
# 创建安全认证文件
  echo “rsync_bak:123456” >/etc/rsync.password
  chmod 600 /etc/rsync.password
  
#启动rsync服务
 rsync --daemon -c /etc/password
 
 ###########################################################################################
 yum install -y rsync
 /etc/init.d/xinetd start
 说明：有很多服务类似rsync一样没有启动脚本，需要使用命令开启守护进程，因此服务启动停止很麻烦。因此为了解决以上软件的启动停止与重启问题，开发了xinetd服务，将通过命令启动守护进程的命令统一管理起来。
 cd /etc/xinetd.d/
 vim rsync   #修改为disable=no
 /etc/init.d/xinetd restart
 netstat -lntup |grep 873

部署rsync客户端

#检查rsync客户端是否安装
#编写安全认证文件
  echo “123456” >/etc/rsync.password
  chmod 600 /etc/rsync.password
# 推送测试

部署inotify服务

软件名称：inotify-tools
而sersync是原金山公司周洋在inotify基础上二次开发，多了定时重试机制、过滤机制、支持多线程等。

PS: yum源仓库搭建：http://blog.oldboyedu.com/autodeploy-yum/

安装阿里云普通源与epel源
参考：http://mirrors.aliyun.com/help/centos

#安装
yum install -y inotify-tools

#检查
[root@nfs01 data]# ls -l /proc/sys/fs/inotify/
total 0
-rw-r--r-- 1 root root 0 Aug  6 07:38 max_queued_events
-rw-r--r-- 1 root root 0 Aug  6 07:38 max_user_instances
-rw-r--r-- 1 root root 0 Aug  6 07:38 max_user_watches

[root@nfs01 data]# rpm -ql inotify-tools
/usr/bin/inotifywait
/usr/bin/inotifywatch

[root@nfs01 data]# cd /proc/sys/fs/inotify/
max_user_watches  #定义监控文件数量,默认8192
max_user_instances #定义每个用户可以运行的实例数量，默认128。
max_queued_events  #设置inotify实例事件（event）队列容纳的数量，默认:16384。

#编写监控命令
inotifywait -mrq --format “%w%f” -e moved_to,delete,create,close_write /data

参数

-e |--event 指定监听1个或多个事件，比如:create,delete。如果省略表示所有事件都监听
-d |--daemon  以守护进程方式运行
-r |--recursive 递归监控目录数据信息变化
-q | --quiet  输出信息少，只打印事件信息
-m |--monitor   始终保持事件监听状态
--timefmt   指定时间输出格式
--format 用自定义的格式显示监控输出的内容。
        %w 事件出现时，显示监控的文件或目录名称信息
        %f 事件出现时，显示监控的文件或目录的名称信息。
        %T 匹配或调用--timefmt语法中输出的时间格式。
        %e 事件发生时，不同的事件状态信息之间使用逗号（,）分隔
        %Xe 事件发生时，不同的时间状态信息之间使用X分隔

事件

close_write  文件或目录关闭，在写入模式打开后关闭的
move  文件或目录不管移动到货是移动出监控目录都触发事件
create 文件或目录创建在监控的目录中就触发事件

# 开启inotifywait监控
inotifywait /data    #默认只监控一次
inotifywait -m /data  #始终保持事件监听，但是如果在子目录创建文件不会产生事件，因为没有添加-r参数。
inotifywait -mrq /data   #主要用到的三个参数。

inotify命令格式

常见时间参数信息

%F   以yy-mm-dd方式显示时间

事件测试

测试create事件
inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e create /data
inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f 触发事件:%e' -e create /data

删除delete事件
inotifywait -mrq --timefmt '%F' --format '%T %w%f 触发事件:%?e' -e create,delete /data

修改close_write事件
inotifywait -mrq --timefmt '%F' --format '%T %w%f 触发事件:%?e' -e create,delete,close_write /data

测试moved_to事件
[root@inotify_server ~]# inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e moved_to /data

测试moved_from事件
[root@inotify_server ~]# inotifywait -mrq --timefmt '%F' --format '%T %w%f' -e moved_from /data

#####以我们习惯的时间格式显示：########
inotifywait -mrq --timefmt '%F' --format '%T %w%f' -e create /data
2017-08-06 /data/dir_02

事件汇总

rsync与inotify脚本结合

vim monitor.sh 

#!/bin/bash
/usr/bin/inotifywait -mrq --format “%w%f” -e moved_to,delete,create,close_write /data|\
while read line
do
   rsync -az --delete /data/  rsync_backup@172.16.1.41::nfsbackup --password-file=/etc/rsync.password
done

–delete 是无差异同步，即同步之前如果两边不一致先清空源数据。

kill扩展

1. kill/killall/pkill只能杀掉正在后台运行的进程，而后台暂停（ctrl+z）的进程无法杀死
2. 需要将后台暂停运行的程序开启，再利用kill杀进程。
   jobs
   fg 序号     #把后台运行的程序放在前台运行
   killall  sh

将脚本放入后台运行的方式

1. 在脚本后面放入&符号，表示脚本在后台运行（centos5使用&有bug）
2. 利用nohup命令
   nohup sh /server/scripts/monitor.sh &
   jobs查看后台运行的进程
3. screen命令实现后台管理服务功能

• 本文作者： GaryWu
• 本文链接： https://garywu520.github.io/2017/08/26/inotify+rsync实时同步/
• 版权声明： 本博客所有文章除特别声明外，均采用 MIT 许可协议。转载请注明出处！