一、rsync概述1、什么是rsync

rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。rsync软件适用于unix/linux/windows等多种操作系统平台。

rsync和ssh带的scp命令比较相似,但又优于scp命令的功能,scp每次都是全量拷贝,而rsync可以进行增量拷贝。当然,rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据,这又类似cp命令,但同样也优于cp命令,cp每次都是全量拷贝,而rsync可以增量拷贝.利用rsync还可以实现删除文件和目录功能,这又相当于rm命令。

2、rsync特性

支持拷贝特殊文件如链接文件,设备等。 可以有排除指定文件或目录同步的功能,相当于打包命令tar的排除功能。 可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变。 可实现增量同步,即可同步发生变化的数据,因此数据传输效率很高。 可以使用rcp,rsh,ssh等方式来配合传输文件(rsync本身不对数据加密)。 可以通过socket传输文件和数据。 支持匿名的或认证(无需系统用户)的进程模式传输,可实现方便安全的进行数据备份及镜像。

3、rsync与scp的区别

俩者都可以实现远程同步,但相对比而言,rsync能力更强

①支持增量备份

②数据同步时,保持文件的原有属性

二、RSYNC的使用1、基本语法

man rsync NAME rsync — a fast, versatile, remote (and local) file-copying tool //一种快速、通用、远程(和本地)的文件复制工具 SYNOPSIS //本地文件同步 Local:rsync [OPTION...] SRC... [DEST] //远程文件同步 Access via remote shell: Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST] Push: rsync [OPTION...] SRC... [USER@]HOST:DEST OPTION选项说明 -v:详细模式输出 -a:归档模式,递归的方式传输文件,并保持文件的属性,equals -rlptgoD -r:递归拷贝目录 -l:保留软链接 -p:保留原有权限 -t:保留原有时间(修改) -g:保留属组权限 -o:保留属主权限 -D:等于--devices --specials 表示支持b,c,s,p类型的文件 -R: 保留相对路径 -H:保留硬链接 -A:保留ACL策略 -e:指定要执行的远程shell命令,ssh更改端口常用选项 -E:保留可执行权限 -X:保留扩展属性信息 a属性

注:推,相当于上传。拉,相当于下载

2、本地文件同步

本地文件同步简单理解就是把文件从一个位置(同步》》拷贝)到另一个位置(类似cp)

实例:/rsync1 /rsync2 /rsync3,在/rsync1中创建三个文件fiel1 file2 file3,使用rsync本地同步

创建文件夹 mkdir rsync1 mkdir rsync2 mkdir rsync3 在文件夹rsync1中创建三个文件 touch /rsync1/file{1..3} 使用rsync同步 rsync -av /rsync1/ /rsync2 把rsync1目录中的所有文件拷贝到/rsync2中 rsync -av /rsync1 /rsync3 把/rsync1目录整体同步到/rsync3目录中

实例:rsyc -R 选项的应用(保留相对路径

rsync -avR /rsync1 /rsync2

linuxrsync怎么安装(新手学习第二阶段)(1)

实例:rsync --delete(删除目标目录里多余的文件)

/rsync1 /rsync2

file1 fiel2 file1 file2 file3

使用rsync --delete同步后,会自动删除file3文件。(让rsync1与rsync2目录中的文件一致)

rsync -av --delate /rsync1/ /rsync2

3、远程文件同步

上传文件到远程端口

rsync -av 本地文件或目录 远程用户名@远程服务器的IP地址:目标

实例:把init.sh文件传输到远程服务器home目录下(172.22.1.88)

rsync -av /home/init.sh root@172.22.1.88:/home/

实例:把rsync1文件夹传输到远程服务器home目录下(172.22.1.88)

rsync -av /home/rsync1/ root@172.22.1.88:/home/

下载文件到本地服务端

rsync -av 远程用户名@远程服务器IP:目标文件或目录 本地存储位置

实例:把远程服务器(172.22.1.88)root目录下123.txt文件下载到本地home目录下

rsync -av root@172.22.1.88:/root/123.txt /home/

实例:把远程服务器(172.22.1.88)root目录下,abc目录下载到本地home目录下

rsync -av root@172.22.1.88:/root/abc/ /home/

问:rsync远程同步数据时,默认情况下为什么需要密码?如果不想要密码同步怎么实现?

rsync在远程同步时,之所以要密码的主要原因在于其底层还是基于ssh服务的,ssh有两种认证方式,如果没有配置免密则默认使用用户名 密码的认证方式。

不想要密码同步,可以考虑使用SSH免密操作

ssh-keygen -t rsa -P "" ssh-copy-id root@172.22.1.88

问:如果bak服务器端,更改了SSH的默认密码,那这个数据该如何?

rsync -e "ssh -p 10068" -av 123.txt root@172.22.1.88:/home

4、rsync作为系统服务

默认情况下,rsync只是作为一个命令来进行使用的(ps在查询进程时,找不到对应的服务),但是rsunc提供了一种作为系统服务的实现方式。

Linux系统服务的思路:

对外提供服务>>端口监听>>启动服务>>启动脚本>>配置文件

第一步:启动rsyncd服务(centos6中没有,centos7中有这个服务)

systemctl start rsyncd

如果企业中使用系统centos6系统,则没有启动脚本。

# man rsync # rsync --help Use "rsync --daemon --help" to see the daemon-mode command-line options. CentOS6:rsync作为系统服务 # touch /etc/rsyncd.conf # rsync --daemon # ps -ef|grep rsync # netstat -tunlp |grep rsync => -t tcp -u udp

注:rsync作为系统服务单独运行,则底层就不需要ssh服务

第二步:rsyncd服务的配置文件/ec/rsyncd.conf

cat /etc/rsyncd.conf

linuxrsync怎么安装(新手学习第二阶段)(2)

三、使用RSYNC,实现对远程服务器的文件同步

1、准备机器

主机名

IP

用途

web01

172.22.1.41

web端,安装rsync服务

bak01

172.22.1.71

备份服务器

第一步:关闭防火墙及selinux

systemctl stop firewalld 临时关闭 systemctl disable firewalld 关闭开机自启 setenforce 0 临时关闭 vim /etc/selinux/config SELINUX=disable

第二步:更改主机名称

hostnamectl set-hostname web01 hostnamectl set-hostname bak01

第三步:更改IP地址

vim /etc/sysconfig/network-scripts/ifcfg-eth0

linuxrsync怎么安装(新手学习第二阶段)(3)

第四步:关闭NetworkManager

systemctl stop NetworkManager systemctl disable NetworkManager

第五步:配置yum源(可根据自己情况来定)

备份本地源 cp /etc/yum.repos.d /etc/yum.repos.d.bak 下载阿里云源(centos7) wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo yum clean all yum makecache

2、实现对web01机器备份

第一步:准备测试文件

在根目录创建一个测试使用的目录 mkdir /data mkdir /data/111 touch /data/1{1..80}.txt

第二步:把rsync作为系统服务运行

yum install rsync -y 安装rsync vi /etc/rsyncd.conf uid = root gid = root port = 873 #安全机制 use chroot = no #最大连接数 max connections = 200 #进程对应的进程号文件 pid file = /var/run/rsyncd.pid #锁文件 locl file = /var/run/rsync.lock #日志文件 log file = /var/log/rsyncd.log #超时时间 timeout = 900 ignore errors #dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2 read only = false list = false #虚拟用户,专用于rsync服务 auth users = rsync_bak #密码文件存放地址 secrets file = /etc/rsync.passwd #允许哪些机器可以链接 #hosts allow = 192.168.193.0/24 #配置模块名 [rsync_bak71] #路径 path = /data comment = ftp export area 开启服务 systemctl start rsyncd 加入开机自启 systemctl enable rsyncd

第三步:备机进行创建备份目录

mkdir /web_bak

第四步:测试rsync是否可以连接到rsync服务

rsync -a rsync_bak@172.22.1.71::rsync_bak71 -a:获取rsync目录对应的同步目录标签

linuxrsync怎么安装(新手学习第二阶段)(4)

下载文件到本地

rsync -av rsync_bak@172.22.1.71::rsync_bak71 /data/

第五步:编写计划任务脚本 shell的脚本文件,自动实现代码备份

①编写计划任务

crontab -e 2 1 * * * /root/rsync_bak.sh

②编写rsync_bak.sh脚本

vi /root/rsync_bak.sh #!/bin/bash rsync -av rsync_bak@172.22.1.71::rsync_bak71 /data/ &>/dev/null chmod x rsync_bak.sh

3、总结

web服务器:172.22.1.41 》》/data/ 备份服务器:172.22.1.71 web服务器: 1.准备需要备份的文件或目录 2.检查是否安装rsync服务。yum intsall rsync -y 3.编写rsync配置文件,定义模块,定义需要备份的路径 4.启动rsync服务 备份服务器: 1.测试rsync是否可以连接到web服务器的rsync服务 2.创建备份目录 3.编写计划任务脚本 4.编写脚本文件,实现同步

注:以上备份方法是通过rsync设置的虚拟账户进行同步,也可以直接使用root管理员账户同步,root@IP::模块名,实际工作中,是需要设置虚拟用户名,本机存入用户名 密码,备份端存入密码,来进行备份的。

四、扩展RSYNC,使用虚拟账户1、给rsync服务添加密码

web服务器:

1.编辑rsync配置文件,vi /etc/rsyncd.conf

vi /etc/rsyncd.conf #虚拟用户,专用于rsync服务 auth users = rsync_bak >>用户名 #密码文件存放地址 secrets file = /etc/rsync.passwd >>密码文件存放的路径

2.在/etc/目录下创建/etc/rsync.passwd文件

vi /etc/rsync.passwd rsync_bak:123456 用户名:密码

3.把文件权限更为600权限

chmod 600 /etc/rsync.passwd

4.重启rsync服务

systemctl restart rsyncd

备份服务器:

把web端的密码存入到本地

vi /etc/rsync.passwd 123456

2、使用inotify工具实现代码实时同步(重点)

第一步:在web服务器上安装inotify-tools工具(监视器)

# tar xf inotify-tools-3.13.tar.gz -C /usr/local/ # cd /usr/local/inotify-tools-3.14 # ./configure # make # make install 安装完后,就会产生下面两个命令 /usr/local/bin/inotifywait 等待 /usr/local/bin/inotifywatch 看守 /usr/local/bin/inotifywait -m : 一直监控某个目录,create、delete、modify等行为 -r : 递归,不仅仅监控目录还要监控目录下的文件 -q : 获取操作信息,但是不输出 -e : 哪些行为需要被监控,modify,delete,create,attrib,move modify: 文件被修改 delete: 文件被删除 create: 文件被创建 attrib: 文件属性被修改 move: 文件被移动

第二步:编写脚本,inotify_rsync.sh

vi inotify_rsync.sh /usr/local/bin/inotifywait -mrq -e modify,delete,create,attrib,move /data |while read events do rsync -av --delete /data/ rsync_bak@172.22.1.41::rsync_bak71 echo "`date %F\ %T`出现事件$events" >> /var/log/rsync.log 2>&1 done 我对/data做了两件事 ① 在目录下创建了一个1.txt => create ② 在目录下删除了一个2.txt => delete create,delete => while => 执行两次 create rsync数据同步 delete rsync数据同步

注:/usr/local/bin/inotifywait -mrq -e modify,delete,create,attrib,move

第三步:添加可执行权限

chmod x inotify_rsync.sh

第四步:让inotify_rsync.sh脚本一直执行

nohup ./inotify_rsync.sh & & : 让inotify_rsync.sh在计算机后台运行,可以使用jobs命令查看,kill %编号结束,当我们退出终端时,这个执行会自动结束 nohup : 让程序一直在后台运行,即使我们关闭了终端

扩展:如何查看rsync.log日志文件

# cat /var/log/rsync.log

注:inotify-tools工具需要自己去百度去下载

,