sersync+rsync实时同步

sersync项目介绍

Github发布: https://github.com/wsgzao/sersync

原理

下载

解压

unzip sersync_installdir_64bit.zip
mv sersync_installdir_64bit /usr/local/sersync
cd /usr/local/sersync
mv sersync/* ./
rm sersync -rf

目录结构

bin目录保存的是sersync可用的命令
conf目录保存的是配置文件
logs目录保存的是log文件，默认空

编辑sersync配置文件

cd bin/ && chmod +x bin/sersync  #赋予命令可执行权限
cd conf/ && cp confxml.xml confxml.xml.bak

vim vim confxml.xml


#开启debug信息。
<debug start="true"/>


#inotify
<inotify>
    <delete start="true"/>
    <createFolder start="true"/>
    <createFile start="false"/>
    <moveTo start="true"/>
    <attrib start="false"/>
    <modify start="false"/>
</inotify>


#rsync同步信息配置
<rsync>
   <commonParams params="-az"/>
   <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.password"/>
   <userDefinedPort start="false" port="874"/><!-- port=874 -->
   <timeout start="false" time="100"/><!-- timeout=100 -->
   <ssh start="false"/>
</rsync>

#配置rsync服务器主机IP和模块名称（如果本地监控/同步的目录如果有多个，需要新增以下字段）
<sersync>
    <localpath watch="/backup">  #配置本地监控同步的目录
        <remote ip="192.168.56.41" name="backup"/>  #rsync服务器IP和模块名称
        <!--<remote ip="192.168.8.39" name="tongbu"/>-->
        <!--<remote ip="192.168.8.40" name="tongbu"/>-->
     </localpath>
     <rsync>
         <commonParams params="-az"/>
         <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.password"/>
         <userDefinedPort start="false" port="874"/><!-- port=874 -->
         <timeout start="false" time="100"/><!-- timeout=100 -->
         <ssh start="false"/>
      </rsync>
      

#重传机制，每隔多久进行重传，单位:分钟
<failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->

启动sersync服务

./bin/sersync -h   #查看帮助

####################################################
参数-d:启用守护进程模式
参数-r:在监控前，将监控目录与远程主机用rsync命令推送一遍
c参数-n: 指定开启守护线程的数量，默认为10个
参数-o:指定配置文件，默认使用confxml.xml文件
参数-m:单独启用其他模块，使用 -m refreshCDN 开启刷新CDN模块
参数-m:单独启用其他模块，使用 -m socket 开启socket模块
参数-m:单独启用其他模块，使用 -m http 开启http模块
不加-m参数，则默认执行同步程序
##################################################### 

./bin/sersync -dro /usr/local/sersync/conf/confxml.xml      启动

# sersync命令执行后输出信息

[root@nfs01 sersync]# ./bin/sersync -dro /usr/local/sersync/conf/confxml.xml
set the system param
execute：echo 50000000 > /proc/sys/fs/inotify/max_user_watches
execute：echo 327679 > /proc/sys/fs/inotify/max_queued_events
parse the command param
option: -d 	run as a daemon
option: -r 	rsync all the local files to the remote servers before the sersync work
option: -o 	config xml name：  /usr/local/sersync/conf/confxml.xml
daemon thread num: 10
parse xml config file
host ip : localhost	host port: 8008
daemon start，sersync run behind the console 
use rsync password-file :
user is	rsync_backup
passwordfile is 	/etc/rsync.password
config xml parse success
please set /etc/rsyncd.conf max connections=0 Manually
sersync working thread 12  = 1(primary thread) + 1(fail retry thread) + 10(daemon sub threads) 
Max threads numbers is: 22 = 12(Thread pool nums) + 10(Sub threads)
please according your cpu ，use -n param to adjust the cpu rate
------------------------------------------
rsync the directory recursivly to the remote servers once
working please wait...
execute command: cd /data && rsync -az -R --delete ./ rsync_backup@172.16.1.41::nfsbackup --password-file=/etc/rsync.password >/dev/null 2>&1 
run the sersync: 
watch path is: /data

传输测试

1.客户端监控目录与服务端nfs服务器模块目录文件清空
2.在客户端监控目录创建文件、统计数量。
3.在nfs服务器端查看实时传输的文件

查看进程

[root@nfs01 backup]# ps -ef |grep sersync

root       5771      1  0 11:07 ?        00:00:00 ./bin/sersync -dro /usr/local/sersync/conf/confxml.xml

bug

sersync+rsync同步的时候，NFS服务端rsync不能使用xinetd来启动，否则会触发bug，导致文件同步异常。

NFS服务端rsync需要使用: rsync --daemon的方式启动。

• 本文作者： GaryWu
• 本文链接： https://garywu520.github.io/2017/08/26/sersync+rsync实时同步/
• 版权声明： 本博客所有文章除特别声明外，均采用 MIT 许可协议。转载请注明出处！