rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。rsync软件适用于unix/linux/windows等多种操作系统平台。
rsync和ssh带的scp命令比较相似,但又优于scp命令的功能,scp每次都是全量拷贝,而rsync可以进行增量拷贝。当然,rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据,这又类似cp命令,但同样也优于cp命令,cp每次都是全量拷贝,而rsync可以增量拷贝.利用rsync还可以实现删除文件和目录功能,这又相当于rm命令。
2、rsync特性
支持拷贝特殊文件如链接文件,设备等。
可以有排除指定文件或目录同步的功能,相当于打包命令tar的排除功能。
可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变。
可实现增量同步,即可同步发生变化的数据,因此数据传输效率很高。
可以使用rcp,rsh,ssh等方式来配合传输文件(rsync本身不对数据加密)。
可以通过socket传输文件和数据。
支持匿名的或认证(无需系统用户)的进程模式传输,可实现方便安全的进行数据备份及镜像。
俩者都可以实现远程同步,但相对比而言,rsync能力更强
①支持增量备份
②数据同步时,保持文件的原有属性
二、RSYNC的使用1、基本语法
man rsync
NAME
rsync — a fast, versatile, remote (and local) file-copying tool
//一种快速、通用、远程(和本地)的文件复制工具
SYNOPSIS
//本地文件同步
Local:rsync [OPTION...] SRC... [DEST]
//远程文件同步
Access via remote shell:
Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
Push: rsync [OPTION...] SRC... [USER@]HOST:DEST
OPTION选项说明
-v:详细模式输出
-a:归档模式,递归的方式传输文件,并保持文件的属性,equals -rlptgoD
-r:递归拷贝目录
-l:保留软链接
-p:保留原有权限
-t:保留原有时间(修改)
-g:保留属组权限
-o:保留属主权限
-D:等于--devices --specials 表示支持b,c,s,p类型的文件
-R: 保留相对路径
-H:保留硬链接
-A:保留ACL策略
-e:指定要执行的远程shell命令,ssh更改端口常用选项
-E:保留可执行权限
-X:保留扩展属性信息 a属性
注:推,相当于上传。拉,相当于下载
2、本地文件同步本地文件同步简单理解就是把文件从一个位置(同步》》拷贝)到另一个位置(类似cp)
实例:/rsync1 /rsync2 /rsync3,在/rsync1中创建三个文件fiel1 file2 file3,使用rsync本地同步
创建文件夹
mkdir rsync1
mkdir rsync2
mkdir rsync3
在文件夹rsync1中创建三个文件
touch /rsync1/file{1..3}
使用rsync同步
rsync -av /rsync1/ /rsync2 把rsync1目录中的所有文件拷贝到/rsync2中
rsync -av /rsync1 /rsync3 把/rsync1目录整体同步到/rsync3目录中
实例:rsyc -R 选项的应用(保留相对路径)
rsync -avR /rsync1 /rsync2
实例:rsync --delete(删除目标目录里多余的文件)
/rsync1 /rsync2
file1 fiel2 file1 file2 file3
使用rsync --delete同步后,会自动删除file3文件。(让rsync1与rsync2目录中的文件一致)
rsync -av --delate /rsync1/ /rsync2
上传文件到远程端口
rsync -av 本地文件或目录 远程用户名@远程服务器的IP地址:目标
实例:把init.sh文件传输到远程服务器home目录下(172.22.1.88)
rsync -av /home/init.sh root@172.22.1.88:/home/
实例:把rsync1文件夹传输到远程服务器home目录下(172.22.1.88)
rsync -av /home/rsync1/ root@172.22.1.88:/home/
下载文件到本地服务端
rsync -av 远程用户名@远程服务器IP:目标文件或目录 本地存储位置
实例:把远程服务器(172.22.1.88)root目录下123.txt文件下载到本地home目录下
rsync -av root@172.22.1.88:/root/123.txt /home/
实例:把远程服务器(172.22.1.88)root目录下,abc目录下载到本地home目录下
rsync -av root@172.22.1.88:/root/abc/ /home/
问:rsync远程同步数据时,默认情况下为什么需要密码?如果不想要密码同步怎么实现?
rsync在远程同步时,之所以要密码的主要原因在于其底层还是基于ssh服务的,ssh有两种认证方式,如果没有配置免密则默认使用用户名 密码的认证方式。
不想要密码同步,可以考虑使用SSH免密操作
ssh-keygen -t rsa -P ""
ssh-copy-id root@172.22.1.88
问:如果bak服务器端,更改了SSH的默认密码,那这个数据该如何?
rsync -e "ssh -p 10068" -av 123.txt root@172.22.1.88:/home
默认情况下,rsync只是作为一个命令来进行使用的(ps在查询进程时,找不到对应的服务),但是rsunc提供了一种作为系统服务的实现方式。
Linux系统服务的思路:
对外提供服务>>端口监听>>启动服务>>启动脚本>>配置文件
第一步:启动rsyncd服务(centos6中没有,centos7中有这个服务)
systemctl start rsyncd
如果企业中使用系统centos6系统,则没有启动脚本。
# man rsync
# rsync --help
Use "rsync --daemon --help" to see the daemon-mode command-line options.
CentOS6:rsync作为系统服务
# touch /etc/rsyncd.conf
# rsync --daemon
# ps -ef|grep rsync
# netstat -tunlp |grep rsync => -t tcp -u udp
注:rsync作为系统服务单独运行,则底层就不需要ssh服务
第二步:rsyncd服务的配置文件/ec/rsyncd.conf
cat /etc/rsyncd.conf
三、使用RSYNC,实现对远程服务器的文件同步
1、准备机器
主机名 |
IP |
用途 |
web01 |
172.22.1.41 |
web端,安装rsync服务 |
bak01 |
172.22.1.71 |
备份服务器 |
第一步:关闭防火墙及selinux
systemctl stop firewalld 临时关闭
systemctl disable firewalld 关闭开机自启
setenforce 0 临时关闭
vim /etc/selinux/config
SELINUX=disable
第二步:更改主机名称
hostnamectl set-hostname web01
hostnamectl set-hostname bak01
第三步:更改IP地址
vim /etc/sysconfig/network-scripts/ifcfg-eth0
第四步:关闭NetworkManager
systemctl stop NetworkManager
systemctl disable NetworkManager
第五步:配置yum源(可根据自己情况来定)
备份本地源
cp /etc/yum.repos.d /etc/yum.repos.d.bak
下载阿里云源(centos7)
wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
yum clean all
yum makecache
2、实现对web01机器备份
第一步:准备测试文件
在根目录创建一个测试使用的目录
mkdir /data
mkdir /data/111
touch /data/1{1..80}.txt
第二步:把rsync作为系统服务运行
yum install rsync -y 安装rsync
vi /etc/rsyncd.conf
uid = root
gid = root
port = 873
#安全机制
use chroot = no
#最大连接数
max connections = 200
#进程对应的进程号文件
pid file = /var/run/rsyncd.pid
#锁文件
locl file = /var/run/rsync.lock
#日志文件
log file = /var/log/rsyncd.log
#超时时间
timeout = 900
ignore errors
#dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2
read only = false
list = false
#虚拟用户,专用于rsync服务
auth users = rsync_bak
#密码文件存放地址
secrets file = /etc/rsync.passwd
#允许哪些机器可以链接
#hosts allow = 192.168.193.0/24
#配置模块名
[rsync_bak71]
#路径
path = /data
comment = ftp export area
开启服务
systemctl start rsyncd
加入开机自启
systemctl enable rsyncd
第三步:备机进行创建备份目录
mkdir /web_bak
第四步:测试rsync是否可以连接到rsync服务
rsync -a rsync_bak@172.22.1.71::rsync_bak71
-a:获取rsync目录对应的同步目录标签
下载文件到本地
rsync -av rsync_bak@172.22.1.71::rsync_bak71 /data/
第五步:编写计划任务脚本 shell的脚本文件,自动实现代码备份
①编写计划任务
crontab -e
2 1 * * * /root/rsync_bak.sh
②编写rsync_bak.sh脚本
vi /root/rsync_bak.sh
#!/bin/bash
rsync -av rsync_bak@172.22.1.71::rsync_bak71 /data/ &>/dev/null
chmod x rsync_bak.sh
3、总结
web服务器:172.22.1.41 》》/data/
备份服务器:172.22.1.71
web服务器:
1.准备需要备份的文件或目录
2.检查是否安装rsync服务。yum intsall rsync -y
3.编写rsync配置文件,定义模块,定义需要备份的路径
4.启动rsync服务
备份服务器:
1.测试rsync是否可以连接到web服务器的rsync服务
2.创建备份目录
3.编写计划任务脚本
4.编写脚本文件,实现同步
注:以上备份方法是通过rsync设置的虚拟账户进行同步,也可以直接使用root管理员账户同步,root@IP::模块名,实际工作中,是需要设置虚拟用户名,本机存入用户名 密码,备份端存入密码,来进行备份的。
四、扩展RSYNC,使用虚拟账户1、给rsync服务添加密码web服务器:
1.编辑rsync配置文件,vi /etc/rsyncd.conf
vi /etc/rsyncd.conf
#虚拟用户,专用于rsync服务
auth users = rsync_bak >>用户名
#密码文件存放地址
secrets file = /etc/rsync.passwd >>密码文件存放的路径
2.在/etc/目录下创建/etc/rsync.passwd文件
vi /etc/rsync.passwd
rsync_bak:123456
用户名:密码
3.把文件权限更为600权限
chmod 600 /etc/rsync.passwd
4.重启rsync服务
systemctl restart rsyncd
备份服务器:
把web端的密码存入到本地
vi /etc/rsync.passwd
123456
2、使用inotify工具实现代码实时同步(重点)
第一步:在web服务器上安装inotify-tools工具(监视器)
# tar xf inotify-tools-3.13.tar.gz -C /usr/local/
# cd /usr/local/inotify-tools-3.14
# ./configure
# make
# make install
安装完后,就会产生下面两个命令
/usr/local/bin/inotifywait 等待
/usr/local/bin/inotifywatch 看守
/usr/local/bin/inotifywait
-m : 一直监控某个目录,create、delete、modify等行为
-r : 递归,不仅仅监控目录还要监控目录下的文件
-q : 获取操作信息,但是不输出
-e : 哪些行为需要被监控,modify,delete,create,attrib,move
modify: 文件被修改
delete: 文件被删除
create: 文件被创建
attrib: 文件属性被修改
move: 文件被移动
第二步:编写脚本,inotify_rsync.sh
vi inotify_rsync.sh
/usr/local/bin/inotifywait -mrq -e modify,delete,create,attrib,move /data |while read events
do
rsync -av --delete /data/ rsync_bak@172.22.1.41::rsync_bak71
echo "`date %F\ %T`出现事件$events" >> /var/log/rsync.log 2>&1
done
我对/data做了两件事
① 在目录下创建了一个1.txt => create
② 在目录下删除了一个2.txt => delete
create,delete => while => 执行两次
create
rsync数据同步
delete
rsync数据同步
注:/usr/local/bin/inotifywait -mrq -e modify,delete,create,attrib,move
第三步:添加可执行权限
chmod x inotify_rsync.sh
第四步:让inotify_rsync.sh脚本一直执行
nohup ./inotify_rsync.sh &
& : 让inotify_rsync.sh在计算机后台运行,可以使用jobs命令查看,kill %编号结束,当我们退出终端时,这个执行会自动结束
nohup : 让程序一直在后台运行,即使我们关闭了终端
扩展:如何查看rsync.log日志文件
# cat /var/log/rsync.log
注:inotify-tools工具需要自己去百度去下载
,