day35-sersync

1.什么是实时同步
监控一个目录的变化，当该目录触发事件（创建、删除、修改）就执行动作，这个动作可以是rsync同步，也可以是其他。
2.为什么要实时同步
（1）能解决nfs单点故障换至云端（随时都需要留一个后手）
3.实时同步的原理
借助一个通知接口，inotify,inotify监控本地主机的事件（创建，删除，修改）则通知执行动作，这个动作可以是rsync同步。
4.实时同步的场景
（1）能解决nfs单点故障问题
（2）能够让本地快速切换至云端
5.实时同步工具选择
（1）inotify+rsync实现（写脚本来实现监控---->放在后台screen）
（2）sersync实时同步 （常用）
（3）lsyncd
https://github.com/wsgzao/sersync
6.实时同步案例演示
规划:
web 10.0.0.7 172.16.1.7 httpd\php
nfs 10.0.0.31 172.16.1.31 nfs-server inotify rsync sersync
backup 10.0.0.41 172.16.1.41 rsync-server nfs-server
（1）.实现web上传视频,自动存储至NFS?

NFS服务端:10.0.0.31 172.16.1.31
①安装nfs

[root@nfs ~]# yum install nfs-utils -y

②配置

[root@nfs ~]# cat /etc/exports
/data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)

③根据配置初始化环境

[root@nfs ~]# groupadd -g 666 www
[root@nfs ~]# useradd -u666 -g666 www
[root@nfs ~]# mkdir /data
[root@nfs ~]# chown -R www.www /data/

④重新启动nfs服务

[root@nfs ~]# systemctl restart nfs-server
[root@nfs ~]# systemctl enable  nfs-server

WEB服务端操作:10.0.0.7 172.16.1.7
①安装httpd php

[root@web01 ~]# yum install httpd php -y

②配置httpd php

③启动httpd

[root@web01 ~]# systemctl start httpd

④模拟测试

[root@web01 ~]# echo "Oldboy Edu.com" > /var/www/html/index.html    (可以不测试)

WEB进行挂载,上传代码:

    [root@web01 ~]# mount -t nfs 172.16.1.31:/data /var/www/html/
    [root@web01 ~]# cd /var/www/html
    [root@web01 ~]# rz kaoshi.zip
    [root@web01 ~]# unzip kaoshi.zip

用户通过前端的web页面上传视频
如果上传出现3错误:请检查日志

    [root@web01 html]# tail -f /var/log/httpd/error_log
    

---

（2）.当NFS的目录发生变化,则触发同步? (实时同步)
* 怎么监控/data? inotify
* 同步rsync ---> backup服务器 [backup模块] [data模块]

---

rsync服务 10.0.0.41 172.16.1.41
①安装rsync

    [root@backup ~]# yum install rsync -y

②配置rsync

    [root@backup ~]# vi /etc/rsyncd.conf
    uid = rsync
    gid = rsync
    port = 873
    fake super = yes
    use chroot = no
    max connections = 200
    timeout = 600
    ignore errors
    read only = false
    list = false
    auth users = rsync_backup
    secrets file = /etc/rsync.passwd
    log file = /var/log/rsyncd.log
    #####################################
    [backup]
    comment = welcome to oldboyedu backup!
    path = /backup
       [data]
    path = /data

③根据rsync配置初始化环境

    [root@backup ~]# useradd -M -s /sbin/nologin rsync
    [root@backup ~]# echo "rsync_backup:123456" > /etc/rsync.passwd
    [root@backup ~]# chmod 600 /etc/rsync.passwd
    [root@backup ~]# mkdir /backup /data -p 
    [root@backup ~]# chown -R rsync.rsync /backup/ /data/

④启动rsync

    [root@backup ~]# systemctl restart rsyncd 
    [root@backup ~]# systemctl enable rsyncd

nfs服务配置 10.0.0.31 172.16.1.31
①安装rsync inotify

    [root@nfs ~]# yum install rsync inotify-tools -y

②安装sersync  ( rsync inotify )

    [root@nfs ~]# wget https://github.com/wsgzao/sersync/raw/master/sersync2.5.4_64bit_binary_stable_final.tar.gz
    [root@nfs ~]# tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz -C /usr/local/
    [root@nfs ~]# mv /usr/local/GNU-Linux-x86/ /usr/local/sersync
    [root@nfs ~]# file /usr/local/sersync/confxml.xml
    [root@nfs ~]# echo "123456" > /etc/rsync.pass
    [root@nfs ~]# chmod 600 /etc/rsync.pass

③启动sersync

    [root@nfs ~]# /usr/local/sersync/sersync2 -dro /usr/local/sersync/confxml.xml

④建议: 手动执行该命令测试是否ok,这样方便排查问题

    [root@nfs ~]# cd /data && rsync -avz -R --delete ./  --timeout=100 rsync_backup@172.16.1.41::data --password-file=/etc/rsync.pass

---

（3）模拟NFS故障, web可以快速的切换到backup的NFS服务上?

①backup的权限是否和NFS的权限一致?
②backup上是否配置NFS服务?  是否共享了/data目录?
③模拟NFS故障,实现切换?

---

①backup的权限是否和NFS的权限一致? 10.0.0.41 172.16.1.41
修改如下内容:

[root@backup ~]# vim /etc/rsyncd.conf   
    uid = www
    gid = www
    .....

**创建用户**

[root@backup ~]# groupadd -g 666 www
    [root@backup ~]# useradd -g666 -u666 www

**修改权限**

    [root@backup ~]# chown -R www.www /data/ /backup/

**重启服务**
[root@backup ~]# systemctl restart rsyncd

②.backup服务器上是否配置NFS服务? 是否共享了/data目录?
安装NFS

[root@backup ~]# yum install nfs-utils -y

配置NFS

    [root@backup ~]# cat /etc/exports
    /data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)
    [root@backup ~]# chown -R www.www /data/

**启动NFS**
[root@backup ~]# systemctl enable nfs-server
[root@backup ~]# systemctl start nfs-server

③模拟NFS故障,实现切换?

    [root@web01 ~]# umount -lf /var/www/html && mount -t nfs 172.16.1.41:/data /var/www/html

基于sersync海量文件实时同步
https://www.cnblogs.com/xuliangwei/p/10245289.html
S: 项目背景: *******
T: 项目任务: *******
A: 项目实施: *******
R: 产生价值: *******

S: 故障时间: *******
T: 故障分析: *******
A: 如何解决: *******
R: 结果: *******
[root@nfs01 sersync]# vim confxml.xml
5 <fileSystem xfs="true"/>
6 <filter start="false">
7 <exclude expression="(.).svn"></exclude>
8 <exclude expression="(.).gz"></exclude>
9 <exclude expression="^info/"></exclude>
10 <exclude expression="^static/"></exclude>
11 </filter>

12 <inotify>
13 <delete start="true"/>
14 <createFolder start="true"/>
15 <createFile start="true"/>
16 <closeWrite start="true"/>
17 <moveFrom start="true"/>
18 <moveTo start="true"/>
19 <attrib start="false"/>
20 <modify start="false"/>
21 </inotify>

23 <sersync>
24 <localpath watch="/data">
25 <remote ip="172.16.1.41" name="data"/>
28 </localpath>

29 <rsync>
30 <commonParams params="-az"/>
31 <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.pass"/>
32 <userDefinedPort start="false" port="874"/>
33 <timeout start="true" time="100"/>
34 <ssh start="false"/>
35 </rsync>