Rsync

1. Rsync基本概述

rsync是linux系统下的数据镜像备份工具。使用快速增量备份工具Remote Sync可以远程同步，支持本地复制，或者与其他SSH、rsync主机同步。

常见备份方式

    完全备份：对所有数据做一次全备份
    增量备份：只备份上一次备份之后变化的数据*****
    差异备份：备份是上一次完全备份后变化的数据

• 常见备份组合：

  完全+增量：1次完全+多次增量 完全+差异：1次完全+1次差异

2.Rsync应用场景

• [ ] 数据同步的方式

• 推:push，上传（upload）

  将客户端的数据上传到rsync服务段（backup服务器）

• 拉:pull，下载（download）

  将rsync服务端（backup服务器）的数据下载到客户端

==推拉是由客户端发起的==

3.Rsync传输模式

Rsync大致使用三种主要的数据传输方式

Rsync命令对应选项

-a                  #归档模式传输, 等于-tropgDl
-v                  #详细模式输出, 打印速率, 文件数量等
-z                  #传输时进行压缩以提高效率
-r                  #递归传输目录及子目录，即目录下得所有目录都同样传输。
-t                  #保持文件时间信息
-o                  #保持文件属主信息
-p                  #保持文件权限
-g                  #保持文件属组信息
-l                  #保留软连接
-P                  #显示同步的过程及传输时的进度等信息
-D                  #保持设备文件信息
-L                  #保留软连接指向的目标文件
-e                  #使用的信道协议,指定替代rsh的shell程序
--exclude=PATTERN   #指定排除不需要传输的文件模式
--exclude-from=file #文件名所在的目录文件
--bwlimit=100       #限速传输
--partial           #断点续传
--delete            #让目标目录和源目录数据保持一致

本地方式

rsync [OPTION...] SRC... [DEST]

类似cp命令

文件同步

    [root@backup ~]# rsync -avz /etc/fstab /data/
    sending incremental file list
    fstab

目录同步1：

    [root@backup ~]# rsync -avz /data/ /opt/
    sending incremental file list
    ./
    fstab
    passwd

目录同步2：

[root@backup ~]# rsync -avz /data /opt/
    sending incremental file list
    data/
    data/fstab
    data/passwd

总结: 如果要同步的是目录里面的内容，命令中目录的后面必须要加"/"; 如果要同步的是目录本身及其内容，则命令中只需写目录名。

完全同步：加--delete，源和目标内容完全一致

[root@backup ~]# rsync -avz /null/ /opt/ --delete #慎用

远程方式

Access via remote shell:    远程通道传输
Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
Push: rsync [OPTION...] SRC... [USER@]HOST:DEST

使用的ssh协议，过程是加密，类似scp命令(secure cp)
tcp传输过程，没传输一个数据都会有连接的建立、维护、断开过程。

[root@backup ~]# rsync -avz /etc/hosts root@172.16.1.31:/etc/

[root@backup ~]# rsync -avz root@172.16.1.31:/root/hello.txt .

问题：
1.用户权限问题
[root@oldboy ~]# rsync -avz oldboy@172.16.1.41:/root/hello.txt  /tmp/
receiving incremental file list
rsync: change_dir "/root" failed: Permission denied (13)
2.用户身份暴露了，安全隐患
3.文件路径暴露了，安全隐患  

守护进程

rsync自身非常重要的功能(不使用系统用户，更加安全)

服务器的配置流程：

• [ ] 1.安装软件包

yum install -y rsync

• [ ] 2.修改配置文件

1)查找配置文件
[root@oldboy ~]# rpm -qc rsync
/etc/rsyncd.conf
/etc/sysconfig/rsyncd
[root@oldboy ~]# rpm -ql rsync | grep etc
/etc/rsyncd.conf
/etc/sysconfig/rsyncd
2)修改配置文件
[root@backup ~]# vim /etc/rsyncd.conf
# 全局模块
uid = rsync                     --- 运行进程的用户
gid = rsync                     --- 运行进程的用户组
port = 873                      --- 监听端口
fake super = yes                --- 无需让rsync以root身份运行，允许存储文件的完整属性（3.1版本之后）
use chroot = no                 --- 关闭假根功能
max connections = 200           --- 最大连接数
timeout = 600                   --- 超时时间
ignore errors                   --- 忽略错误信息
read only = false               --- 对备份数据可读写
list = false                    --- 不允许查看模块信息
auth users = rsync_backup       --- 定义虚拟用户，作为连接认证用户
secrets file = /etc/rsync.passwd ---定义rsync服务用户连接认证密码文件路径

##局部模块
[backup]                --- 定义模块信息
comment = commit        --- 模块注释信息
path = /backup          --- 定义接收备份数据目录

• [ ] 3.创建程序用户

useradd -M -s /sbin/nologin rsync

• [ ] 4.创建目录，并修改所属

mkdir [-p] /backup
chown -R rsync.rsync /backup

• [ ] 5.创建虚拟用户认证文件

echo "rsync_backup:1" >/etc/rsync.password
chmod 600 /etc/rsync.password

• [ ] 6.启动服务

systemctl start rsyncd
systemctl enable rsyncd

注意：一定要查看是否启动成功

[root@oldboy ~]# systemctl status rsyncd
● rsyncd.service - fast remote file copy program daemon
Loaded: loaded (/usr/lib/systemd/system/rsyncd.service; enabled; vendor preset: disabled)
Active: active (running) since 四 2018-09-27 11:18:52 CST; 37s ago

[root@oldboy ~]# lsof -i:873
COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
rsync   4187 root    3u  IPv4  44003      0t0  TCP *:rsync (LISTEN)
rsync   4187 root    5u  IPv6  44004      0t0  TCP *:rsync (LISTEN)
[root@oldboy ~]# ss -antp | grep rsync
LISTEN     0      5            *:873                      *:*                   users:(("rsync",pid=4187,fd=3))
LISTEN     0      5           :::873                     :::*                   users:(("rsync",pid=4187,fd=5))

[root@oldboy ~]# netstat -antp | grep rsync
tcp        0      0 0.0.0.0:873             0.0.0.0:*               LISTEN      4187/rsync          
tcp6       0      0 :::873                  :::*                    LISTEN      4187/rsync

客户端验证过程：

• [ ] 1.安装rsync包

yum install -y rsync

• [ ] 2.验证

Access via rsync daemon: 守护进程方式传输 Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST] Push: rsync [OPTION...] SRC... [USER@]HOST::DEST

• 1)推：上传 客户端推送/etc/下所有内容至Rsync服务端：

[root@nfs ~]# rsync -avz /etc/ rsync_backup@172.16.1.41::backup

• 2)拉：下载 在服务端创建下拉文件

[root@backup ~]# cp /etc/passwd /etc/fstab /etc/hosts /backup/
客户端从服务端将backup模块下的内容拉到本地
[root@nfs ~]# rsync -avz rsync_backup@172.16.1.41::backup/ /tmp/

• [ ] 3.免密

• 方法一：在客户端上创建密码文件，并给600的权限

[root@nfs ~]# echo "1" > /etc/rsync.password
[roonfsfs ~]# chmod 600 /etc/rsync.password
[root@nfs ~]# rsync -avz rsync_backup@172.16.1.41::backup/ /tmp/ --password-file=/etc/rsync.password

• 方法二：定义变量

[rnfs@nfs ~]# export RSYNC_PASSWORD=1
[root@nfs ~]# rsync -avz rsync_backup@172.16.1.41::backup/ /tmp/ 

4.Rsync服务实践

    排除注意：
    1.客户端使用rsync报错信息：auth failed on module backup
    查看服务器端/var/log/messages
    1)Sep 27 12:12:52 backup rsyncd[1385]: secrets file must not be other-accessible (see strict modes option)
    表示权限的问题。
    解决方法：chmod 600 /etc/rsync.password
    2)……

    2.需要考虑服务端下拉的文件权限，主要是读权限
    root@nfs ~]# rsync -avz rsync_backup@172.16.1.41::backup/ /tmp/
    Password: 
    receiving incremental file list
    rsync: failed to read xattr user.rsync.%stat for "messages" (in backup): Permission denied (13)
    rsync: failed to read xattr user.rsync.%stat for "secure" (in backup): Permission denied (13)
    ./
    rsync: send_files failed to open "messages" (in backup): Permission denied (13)
    rsync: send_files failed to open "secure" (in backup): Permission denied (13)