运维开发网
广告位招商联系QQ:123077622
 
广告位招商联系QQ:123077622

Linux运维-Rsync+Inotify

运维开发网 https://www.qedev.com 2021-04-22 14:09 出处:51CTO 作者:CHENG791
Rsync+Inotify Rsync:linux系统下的数据镜像备份工具。使用快速增量备份工具Remote Sync可以远程同步,支持本地复制

 

Rsync+Inotify

Rsync:linux系统下的数据镜像备份工具。使用快速增量备份工具Remote Sync可以远程同步,支持本地复制,或者与其他SSH、rsync主机同步。

特性:

可以镜像保存整个目录树和文件系统。

可以很容易做到保持原来文件的权限、时间、软硬链接等等。

无须特殊权限即可安装。

快速:第一次同步时 rsync 会复制全部内容,但在下一次只传输修改过的文件。rsync 在传输数据的过程中可以实行压缩及解压缩操作,因此可以使用更少的带宽。

安全:可以使用scp、ssh等方式来传输文件,当然也可以通过直接的socket连接。

支持匿名传输,以方便进行网站镜象。

 

【Rsync服务端】

1、 查看rsync安装包。

rpm -qa rsync

安装软件包:yum install -y rsync

2、 添加rsync服务的用户,管理本地目录用的。

useradd -s /sbin/nologin -M rsync

id rsync

3、 生成rsyncd.conf配置文件。

vi /etc/rsyncd.conf放入事先准备的配置。

[配置文件/etc/rsync.conf]

uid = rsync

gid = rsync

use chroot = no

max connections = 200

timeout = 300

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

log file = /var/log/rsyncd.log

[backup]

path = /backup

ignore errors

read only = false

list = false

hosts allow = 172.16.1.0/24

hosts deny = 0.0.0.0/32

auth users = rsync_backup

secrets file = /etc/rsync.password

 

man rsyncd.conf去查www.samba.org/ftp/rsync/rsyncd.conf.html

4、 根据rsyncd.conf的auth users配置账号,远程连接用的。并根据secrets file参数生成密码文件。

echo “rsync_backup:oldboy” >/etc/rsync.password

cat /etc/rsync.password

5、 为密码文件配置权限。

chmod 600 /etc/rsync.password

ls -l /etc/rsync.password

6、 创建共享的目录并授权rsync服务管理

mkdir /backup -p

chow -R rsync.rsync /backup

如果没有/backup目录,就会chdir fialed。

7、 启动rsync服务并检查

rsync –daemon

ps aux|grep rsync|grep -v grep

lsof -I :873

8、 加入开机自启动

echo “/usr/bin/rsync --daemon” >>/etc/rc.local

tail -l /etc/rc.local

【Rsync客户端】

1、 生成连接服务器需要的密码文件。

echo “oldboy” >/etc/rsync.password

cat /etc/rsync.password

2、 为密码文件配置权限

chmod 600 /etc/rsync.password

ls -l /etc/rsync.password

3、 同步文件

推送:

rsync -avz /tmp/ [email protected]::backup --password-file=/etc/rsync.password

rsync -avz /tmp/ rsync:[email protected]/backup/ --password-file=/etc/rsync.password

拉取:

rsync -avz [email protected]::backup /tmp/ --password-file=/etc/rsync.password

rsync -avz rsync:[email protected]/backup/ /tmp/ --password-file=/etc/rsync.password

Note:上述的backup为模块名,不是路径。

 

 

 

 

【语法】

rsyn [参数] 源 [email protected]::模块 --password-file=/etc/rsync.password

rsyn [参数] [email protected]::模块 目的 --password-file=/etc/rsync.password

【参数】

-v,--verbose详细模式输出,传输时的进度等信息。

-z,--compress传输时进行压缩以提高传输效率,--compress-level=NUM可按级别压缩。

-a,--archive归档模式,表示以递归方式传输文件,并保持所有文件属性。等于-rtopgDl。

-r,--recursive对子目录以递归模式,即目录下的所有目录都同样传输,注意时小写r。

-t,--times保持文件时间信息。

-o,--owner保持文件属主信息。

-p,--perms保持文件权限。

-g,--group保持文件属组信息。

-P,--progress显示同步的过程及传输时的进度等信息。

-D,--devices保持设备文件信息。

-l,links保持软链接。

-e,--rsh=COMMAND使用的信道协议,指定替代rsh的shell程序。例如:ssh

--exclude=PATHTERN指定排除不需要传输的文件模式(和tar参数一样)

--exclude-from=file(文件名所在的目录文件)(和tar参数一样)

--bwlimit=RATE limit socket I/O bandwidth

--delete 让目录目录SRC和源目录数据DST一致。

 

优点:

  1. 增量备份,支持socket(daemon),集中备份(支持推拉,都是以客户端为参照物)。
  2. 远程SHELL通道模式还可以加密(SSH)传输,socket(daemon)需要加密传输,需配合***服务。

缺点:

  1. 大量小文件时候同步的时候,比对时间较长,有的时候,rsync进程可能会停止。
  2. 同步大文件,10G这样的大文件有时也会有问题,如中断。未完整同步前,是隐藏文件,可以通过续传等参数实现传输。

note:一次性远程拷贝可以用scp。

 

 

SYNOPSIS

Local:  rsync [OPTION...] SRC... [DEST]

Access via remote shell:

  Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]

  Push: rsync [OPTION...] SRC... [USER@]HOST:DEST

Access via rsync daemon:

  Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]

        rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]

  Push: rsync [OPTION...] SRC... [USER@]HOST::DEST

        rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST

 


 

 

inotify-tools

异步文件系统事件监测机制。

inotify-tools提供两种工具,一是 inotifywait,它是用来监控文件或目录的变化,二是inotifywatch,它是用来统计文件系统访问的次数。

安装:

wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-6.repo

yum install -y inotify-tools

 

inotifywait语法:inotifywait [参数] [要监测的文件]

inotifywait [-hcmrq] [-e ] [-t ] [--format ] [--timefmt ] [ ... ]

示例:inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e creat,delete /backup

常用参数:

    --timefmt 时间格式  

    %y年 %m月 %d日 %H小时 %M分钟  

    --format 输出格式  

    %T时间 %w路径 %f文件名 %e状态  

    -m 始终保持监听状态,默认触发事件即退出。  

    -r 递归查询目录  

    -q 打印出监控事件  

    -e 定义监控的事件,可用参数:  

    open 打开文件  

    access 访问文件  

    modify 修改文件  

    delete 删除文件  

    create 新建文件  

attrb  属性变更  

 

note:脚本编写时可以在命令结尾加&表示后台运行

事件相关参数默认大小:

[[email protected] ~]# cd /proc/sys/fs/inotify/

[[email protected] inotify]# cat max_user_watches

8192             #设置inotifywait或inotifywatch命令可以监视的文件数量(单进程)

[[email protected] inotify]# cat max_user_instances

128              #设置每个用户可以运行的inotifywait或inotifywatch命令的进程数

[[email protected] inotify]# cat max_queued_events

16384            #设置inotify实例事件队列可容纳的事件数量

 

 

inotifywatch语法:inotifywatch [-hvzrqf] [-e ] [-t ] [-a ] [-d ] [ ... ]

参数:

-h, –help输出帮助信息

-v, –verbose输出详细信息

@排除不需要监视的文件,可以是相对路径,也可以是绝对路径。

–fromfile 从文件读取需要监视的文件或排除的文件,一个文件一行,[email protected]

-z, –zero输出表格的行和列,即使元素为空

–exclude 正则匹配需要排除的文件,大小写敏感。

–excludei 正则匹配需要排除的文件,忽略大小写。

-r, –recursive监视一个目录下的所有子目录。

-t , –timeout 设置超时时间

-e , –event 只监听指定的事件。

-a , –ascending 以指定事件升序排列。

-d , –descending 以指定事件降序排列

 

 

脚本:实现实时同步/data到nfs服务器上

vim /server/scripts/read_time_sync.sh

#!/bin/sh

Path=/data

Ip=172.16.1.41

/usr/bin/inotifywait -mrq --format '%w%f' -e close-write,delete $Path \

while read file

  do

    cd $Path

    [ -f $file ] &&\

    rsync -az ./$file --delete rsync_backup@$Ip::nfsbackup --password-file=/etc/rsync.password

  done

 

扫码领视频副本.gif

0

精彩评论

暂无评论...
验证码 换一张
取 消

关注公众号