Fork me on GitHub

rsync备份

字数统计: 2.4k字   |   阅读时长≈ 10分

rsync　命令是一个远程同步工具，默认使用增量算法，即只同步两个文件的不同部分，而不是每次同步整个文件，所以速度可观。如果备份目录为空，首次将进行全量备份，后边再次同步，自动变为增量备份。其默认端口号：873

rsync特点

1
2
3
4
5
6
7
(1) rsync支持全量与增量的数据备份
(2) rsync命令功能与其他命令功能有重合性。比如：scp、cp、rm、ls 
(3) 增量数据同步算法-实现rsync增量同步数据，运用了其独特的“quick check”算法。
(4) 可实现增量同步，即只同步发生变化的数据，因此数据传输效率很高。
(5) 可以使用rcp,rsh,ssh等方式来配合进行隧道加密传输文件。
(6) 可以使用socket（进程方式）传输文件和数据（服务端和客户端）
(7) 支持匿名的或认证（无需系统用户）的进程模式传输，可实现方便安全的进行数据备份及镜像。
1
2
3
4
5
6
7
8
9
10
11
12
13
rsync命令功能与其他命令功能有重合性。比如：scp、cp、rm、ls 
# rsync === scp 示例：
scp -rp /etc/hosts 172.16.1.31:/tmp
rsync -avz /etc/hosts 172.16.1.31:/tmp/hosts02

# rsync == cp 示例：
cp -rp /etc/hosts /tmp/hosts01
rsync -avz /etc/hosts /tmp/hosts02
   
# rsync == ls示例：
ls /tmp/
rsync /tmp/
ll /tmp/

工作场景

1
2
(1) 利用定时任务cron+rsync实现实时同步数据, 同步的数据信息一般是网站内部人员使用的。
(2) 利用实时同步软件inotify或sersync等+rsync实现实时同步数据，同步的信息一般是网站用户上传的数据信息。

rsync传输方式

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
# Rsync大致使用三种主要的传输数据的方式。分别为：

(1)单个主机本地之间的数据传输（此时类似于cp命令的功能）。
   # 拷贝passwd文件和log目录到tmp目录下
   rsync -avz /etc/passwd /var/log /tmp/
   ls -l /tmp/
   
(2) 借助rcp,ssh等通道来传输数据（此时类似于scp命令的功能）。
    概念：PUSH（推送）；PULL（拉取）
    推送： rsync -avz /etc/passwd root@172.16.1.31:/tmp/pass
          把本地的passwd文件推送到远程31服务器的/tmp目录下，并重命名为pass文件
          
    拉取： rsync -avz -e "ssh -p 22" root@10.1.0.41:/var/log /opt 
          把10.1.0.41机器上的/var/log目录通过ssh方式拉取到本地的/opt目录

(3) 以守护进程（socket）的方式传输数据（这个是rsync自身的重要的功能）。

rsync详细参数

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
-v  --verbose详细模式输出，传输时的进度等信息

-a   --archive  归档模式，等于-rtopgDl

-z  --compress 传输时进行压缩以提高传输效率

-e     --rsh=COMMAND 使用的信协议，如ssh

--exclude=filename  指定排除不需要传输的文件

--exclude-from=paichu.txt  指定排除的N个文件中，与tar排除类似

--bwlimit=100    限速功能: 100KB/s,可根据实际情况修改

--delete     删除

注：如果是把rsync放到脚本中运行，可以把-v参数去掉，不让其打印详细信息。

–delete参数-使用

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
[root@backup ~]# touch /tmp/{1..10}.txt
[root@backup ~]# mkdir /null
[root@backup ~]# rsync -avz --delete /null/ /tmp/   同步空目录内容到/tmp目录，就等同于删除。
sending incremental file list
./
deleting .ICE-unix/
deleting 9.txt
deleting 8.txt
deleting 7.txt
deleting 6.txt
deleting 5.txt
deleting 4.txt
deleting 3.txt
deleting 2.txt
deleting 10.txt
deleting 1.txt

sent 29 bytes  received 15 bytes  88.00 bytes/sec
total size is 0  speedup is 0.00



rsync 守护进程模式部署

服务端配置：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
(1)安装
yum install -y rsync

(2)创建用户以及存储目录，并修改存储目录的属主属组
   useradd -s /sbin/nologin -M rsync
   useradd -s /sbin/nologin -M data
   mkdir /rsync_backup /dataB -p
   chown -R rsync:rsync /rsync_backup
   chown -R data:data /rsync_backup_B
   ls -ld /rsync_backup /dataB

(3)配置（创建配置文件,默认没有）

vim  /etc/rsyncd.conf
##########################################################

#全局配置
uid = rsync
gid = rsync
use chroot = no    安全相关
max connections = 200   最大连接数（根据实际需求修改）
timeout = 300     超时时间,单位:毫秒
pid file = /var/run/rsyncd.pid   进程对应的进程号文件
lock file = /var/run/rsync.lock  锁文件
log file = /var/log/rsyncd.log   日志文件

#模块配置
[backup]    模块名称
comment = "这里是注释信息"
path = /backup   模块对应的路径
ignore errors   忽略错误程序
read only = false   是否只读
list = false   是否可以列表
hosts allow = 172.16.1.0/24  指定允许访问rsync服务器的客户端IP范围（白名单）
hosts deny = 0.0.0.0/32      禁止访问rsync服务器的客户端IP范围（黑名单）
auth users = rsync_backup    只用于认证（该用户不存在）
secrets file = /etc/rsync.password
# 设置进行连接认证的密钥文件    不存在的用户进行认证时使用的密钥文件

##########################################################################
配置文件-高级配置参考

use chroot = no
max connections = 200
timeout = 300
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
ignore errors
read only = false
list = false

[backup]
uid = rsync
gid = rsync
path = /rsync_backup
hosts allow = 10.0.10.0/24
auth users = rsync_bak
secrets file = /etc/rsync.password

[data]
uid = data
gid = data
path = /dataB
hosts allow = 10.0.10.0/24
auth users = garywu
secrets file = /etc/data.password

##########################################################################

(4)创建用户密码文件
   echo "oldgirl:oldboy123" >/etc/rsync.password  创建用户密码文件
   echo "oldboy:oldboy123" >/etc/data.password
   chmod 600 /etc/rsync.password   修改密码文件权限
   ls -l /etc/data.password

(5)启动服务
   rsync --daemon  --config=/etc/rsyncd.conf  启动服务
   netstat -lntup |grep rsync   查看服务运行情况
   ss -lntup |grep rsync

客户端配置

1
2
3
4
5
6
7
8
(1)安装
   yum install -y rsync
 
(2)创建密码文件
   echo "oldboy123" >/etc/rsync.password

(3)修改密码文件权限,让权限更严谨
   chmod 600 /etc/rsync.password

客户端-免密码传输测试

1
2
3
4
5
6
7
rsync -avz /etc/passwd rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password

注：
① 用户是服务端配置文件中配置的非系统用户
② 指定存储路径模块名称时，需要使用“::”
③ --password-file=/etc/rsync.password 用来指定密码文件路径,实现免密登陆，否则提示输入密码
④ rsync备份：如果备份目录为空，首次将进行全量备份，后边再次同步，自动变为增量备份。



无差异备份-什么是无差异备份？

1
2
3
4
5
6
7
8
9
10
11
12
即, 不管服务器上传目录中原来有什么文件或目录，都要与客户端上传的目录或文件信息一致。如果服务器上传目录中原来有目录和文件，如果与客户端要上传的信息不匹配，则会先把服务器上传目录中不匹配的原数据删除。

实现无差异备份，需要使用--delete参数，如：
[root@nfs01 ~]# rsync -avz --delete abc/ rsync_backup@172.16.1.41::nfsbackup --password-file=/etc/rsync.password
sending incremental file list
./
deleting tmp/.ICE-unix/
deleting rc.local
deleting tmp/optimize-init_sys.sh
anaconda.ifcfg.log
anaconda.log

rsync-异常总结

1
2
3
4
5
6
7
8
9
错误1：
@ERROR: auth failed on module backup
rsync error: error starting client-server protocol (code 5) at main.c(1503) [sender=3.0.6]

原因:
1. 认证的用户名或者密码输入不正确
2. 认证的文件编写有问题（认证内容信息）
3. 认证文件的权限设置的不正确（权限必须为600，属主属组权限保持默认root即可）
4. 配置文件中指定的认证文件路径与实际认证的文件路径不符。
1
2
3
4
5
6
7
8
9
错误2：
Connection refused (111)
rsync error: error in socket IO (code 10) at clientserver.c(124) [sender=3.0.6]

原因：
1. 检查iptables防火墙配置
2. 检查selinux配置
3. 检查rsync服务
   netstat -lntup |grep rsync
1
2
3
4
5
6
7
问题3：
@ERROR: chdir failed
rsync error: error starting client-server protocol (code 5) at main.c(1503) [sender=3.0.6]

原因：rsync服务端没有模块指定的目录，需要创建与授权
[root@backup ~]# mkdir /nfsbackup
[root@backup ~]# chown -R rsync.rsync /nfsbackup/

关闭其进程

1
2
3
4
5
6
7
8
9
10
11
12
方法1：
netstat -apn |grep rsync  获取pid进程号
kill -s 9 pid号 

方法2：
格式：killall 进程名
示例：killall rsync

方法3(模糊杀手-慎用)：
pkill rsync   
ps -ef |grep rsync   
比如：有个脚本在后台运行，执行pkill sh命令后，其会将所有netstat -lntup|grep sh的进程都杀掉，并且不会告知结果信息。

rsync 扩展功能

rsync服务器端多模块的配置

1
2
3
4
5
6
7
8
9
10
11
vim /etc/rsyncd.conf 

...........

[backup]
comment = "backup dir"
path = /backup

[nfsbackup]
comment = "nfsbackup dir"
path = /nfsbackup

客户端传输过程中，创建目录并将文件存放在创建的目录下

1
2
3
4
rsync -avz /etc/rc.local rsync_backup@172.16.1.41::nfsbackup/web/ --password-file=/etc/rsync.password 

其中，"/web/" 即为创建的1级目录；
如果多级目录不存在，则不能同时创建多级目录

目录同步-注意点

1
2
3
4
[root@nfs01 tmp]# rsync -avz /tmp rsync_backup@172.16.1.41::nfsbackup --password-file=/etc/rsync.password 

同步目录的时候，需要注意的是“/tmp”, 表示同步tmp目录下所有文件及目录本身；
如果是“/tmp/”  表示同步目录下内容，不包括目录本身

扫一扫，分享到微信

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true


不论我写了什么...
其实都是错的......