简介
随着应用规模的不断扩大,对数据的安全性和可靠性也提出更好的要求,rsync在高档业务系统中也渐渐曝露出了好多不足。
首先linux培训学校,rsync在同步数据时,须要扫描所有文件后进行比对,进行差量传输。假如文件数目达到了百万甚至千万量级,扫描所有文件将是十分历时的,而且正在发生变化的常常是其中极少的一部份linux社区,这是极其低效的形式。
其次,rsync不能实时的去检测、同步数据,尽管它可以通过linux守护进程的方法进行触发同步,并且两次触发动作一定会有时间差,这样就造成了服务端和顾客端数据可能出现不一致,未能在应用故障时完全的恢复数据。
基于以上两种情况,可以使用rsync+inotify的组合来解决同步时间服务器 linux,可以实现数据的实时同步。
inotify是一种强悍的、细细度的、异步的文件系统风波控制机制。linux内核从2.6.13起,加入了inotify支持。通过inotify可以监控文件系统中添加、删除、修改、移动等各类风波,借助这个内核插口,第三方软件就可以监控文件系统下文件的各类变化情况,而inotify-tools正是施行监控的软件。在使用rsync首次全量同步后,结合inotify对源目录进行实时监控,只要有文件变动或新文件形成,都会立即同步到目标目录下,十分高效实用。
rsync安装
yum -y install rsync
源码形式安装这儿不介绍了。
常用参数
-v :展示详细的同步信息-a :归档模式,相当于 -rlptgoD-r :递归目录-l :同步软连接文件-p :保留权限-t :将源文件的"modify time"同步到目标机器-g :保持文件属组-o :保持文件属主-D :和--devices --specials一样,保持设备文件和特殊文件-z :发送数据前,先压缩再传输-H :保持硬链接-n :进行试运行,不作任何更改-P same as --partial --progress --partial :支持断点续传 --progress :展示传输的进度--delete :如果源文件消失,目标文件也会被删除--delete-excluded :指定要在目的端删除的文件--delete-after :默认情况下,rsync是先清理目的端的文件再开始数据同步;如果使用此选项,则rsync会先进行数据同步,都完成后再删除那些需要清理的文件。--exclude=PATTERN :排除匹配PATTERN的文件--exclude-from=FILE :如果要排除的文件很多,可以统一写在某一文件中-e ssh :使用SSH加密隧道传输
布署使用
这儿有两台linux服务器,我们可以先假设A作为服务端,B作为顾客端。
1、服务端配置:
更改服务端的配置文件:/etc/rsyncd.conf,内容如下:
# rsync 守护进程的用户uid = www# 运行 rsync 守护进程的组gid = www# 允许 chroot,提升安全性,客户端连接模块,首先 chroot 到模块 path 参数指定的目录下,chroot 为 yes 时必须使用 root 权限,且不能备份 path 路径外的链接文件use chroot = yes# 只读read only = no# 只写write only = no# 设定白名单,可以指定IP段(172.18.50.1/255.255.255.0),各个Ip段用空格分开hosts allow = 192.168.0.2hosts deny = *# 允许的客户端最大连接数max connections = 4# 欢迎文件的路径,非必须motd file = /etc/rsyncd.motd# pid文件路径pid file = /var/run/rsyncd.pid# 记录传输文件日志transfer logging = yes# 日志文件格式log format = %t %a %m %f %b# 指定日志文件log file = /var/log/rsync.log# 剔除某些文件或目录,不同步exclude = lost+found/# 设置超时时间timeout = 900ignore nonreadable = yes# 设置不需要压缩的文件dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2# 模块,可以配置多个[sync_file]# 模块的根目录,同步目录,要注意权限path = /home/test# 是否允许列出模块内容list = no# 忽略错误ignore errors# 添加注释comment = ftp export area# 模块验证的用户名称,可使用空格或者逗号隔开多个用户名auth users = sync# 模块验证密码文件 可放在全局配置里secrets file = /etc/rsyncd.secrets
编辑/etc/rsyncd.secrets文件,内容如下:
### rsyncd.secrets 文件的配置# 用户名:密码sync:123456
编辑/etc/rsyncd.motd文件,内容如下:
### rsyncd.motd 文件配置++++++++++++++++++sync zhang : rsync start++++++++++++++++++
设置文件权限,这一步不能少:
chmod 600 /etc/rsyncd.secrets
启动:
rsync --daemon --config=/etc/rsyncd.conf
加入开机自启:
echo 'rsync --daemon --config=/etc/rsyncd.conf' >> /etc/rc.d/rc.local
2、客户端配置:
创建密码文件/etc/rsyncd.pass,直接写密码即可,内容如下:
### rsyncd.pass 文件的配置123456
设置文件权限,这一步不能少:
chmod 600 /etc/rsyncd.pass
如今就可以在顾客端执行来同步文件了。
从服务端=>顾客端同步数据:
rsync -avzP --delete sync@192.168.0.1::sync_file /home/test --password-file=/etc/rsyncd.pass
从顾客端=>服务端同步数据:
rsync -avzP --delete /home/test sync@192.168.0.1::sync_file --password-file=/etc/rsyncd.pass
到目前为止,rsync就配置完成了,若果想实现单向同步,只要将B配置成服务端,A配置成顾客端,分别启对应的服务即可。
接出来介绍inotify监控文件变动同步时间服务器 linux,来实现实时同步。
inotify安装
yum install -y inotify-tools
常用参数
1、inotifywait参数说明:
-m,–monitor:始终保持事件监听状态 # 重要参数-r,–recursive:递归查询目录 # 重要参数-q,–quiet:只打印监控事件的信息 # 重要参数–excludei:排除文件或目录时,不区分大小写-t,–timeout:超时时间–timefmt:指定时间输出格式 # 重要参数–format:指定时间输出格式 # 重要参数-e,–event:后面指定删、增、改等事件 # 重要参数
2、inotifywaitevents风波说明:
access:读取文件或目录内容modify:修改文件或目录内容attrib:文件或目录的属性改变close_write:修改真实文件内容 # 重要参数close_nowrite:文件或目录关闭,在只读模式打开之后关闭的close:文件或目录关闭,不管读或是写模式open:文件或目录被打开moved_to:文件或目录移动到moved_from:文件或目录从移动move:移动文件或目录移动到监视目录 # 重要参数create:在监视目录下创建文件或目录 # 重要参数delete:删除监视目录下的文件或目录 # 重要参数delete_self:文件或目录被删除,目录本身被删除unmount:卸载文件系统
常用
1、创建风波
inotifywait -mrq /data --timefmt "%d-%m-%y %H:%M" --format "%T %w%f 事件信息: %e" -e create
2、删除风波
inotifywait -mrq /data --timefmt "%d-%m-%y %H:%M" --format "%T %w%f 事件信息: %e" -e delete
3、修改风波
inotifywait -mrq /data --timefmt "%d-%m-%y %H:%M" --format "%T %w%f 事件信息: %e" -e close_write
监控
#!/bin/bashPath=/home/testServer=192.168.0.2User=syncmodule=sync_filemonitor() { /usr/bin/inotifywait -mrq --format '%w%f' -e create,close_write,delete $1 | while read line; do if [ -f $line ]; then rsync -avz $line --delete ${User}@${Server}::${module} --password-file=/etc/rsyncd.pass else cd $1 && rsync -avz ./ --delete ${User}@${Server}::${module} --password-file=/etc/rsyncd.pass fi done}monitor $Path;
直接将在后台启动,就可以监控文件的变化了,进而实现服务器之间的文件同步。
这么,假如想同步多个目录该怎样办呢?我能想到的办法就是写多个脚本,每位脚本负责一个目录,但总觉得这些方式不是挺好,你们有何高见?
参考文章:
本文原创地址://gulass.cn/razymfsazbtl.html编辑:刘遄,审核员:暂无