redis复制的概述
本文讲的是复制包含了RDB以及AOF
- 通过配置slaveof选项或者执行SLAVEOF命令 可以一个服务器去复制另外一个服务器。被复制的服务器我们称为主服务器（master），而对主服务器进行复制的服务器我嗯称为从服务器（slave）
- 比如我们在从服务器上面执行SLAVEOF 主服务器IP+port。
- 比如我们在从服务器上面配置slaveof 主服务器ip+port
旧版本复制功能的实现
复制分为同步（sync）和命令传播（command propagate）
- sync 主要是将从服务器的数据库状态更新至主服务器
- command propagate 主要是将主服务器数据被命令修改后，将该命令传播到从服务器
sync
服务器执行SLAVEOF命令时，首先需要执行同步操作，具体的操作命令如下：
- 1.从服务器想主服务器发送SYNC命令
- 2.收到SYNC命令的主服务器执行BGSAVE，在后台生成一个RDB文件，并使用一个缓冲区去记录从现在开始执行的所有写命令
- 3.当主服务器执行完毕BGSAVE命令后，会将生成的RBD文件发送给从服务器，从服务器接受并载入RDB文件，将自己的数据库状态更新至主服务器执行BGSAVE命令时的数据库状态
-
4.主服务器将再此期间的所有写命令发送给从服务器，从服务器执行这些命令
image.png
command propagate
- 当我们完成了sync之后还需要传播命令 这样主从才会一致。
旧版本的缺陷
- 对于初次复制还是ok的，但是对于断线后的复制则存在效率非常低，每次还需要重新复制整个RDB文件
新版本复制功能的实现
- 使用PSYNC替代SYNC，其中PSYNC包含完整同步和部分重同步
- 完整同步用于初次复制其和SYNC过程一直
-
部分重同步则适用于断线后重复制情况：即只需要执行断线后主服务器执行的写命令即可
image.png
部分重同步的实现
主服务器和从服务器的复制偏移量
- 主服务器每次成功向从服务器传播N个字节的时候，就将自己的复制偏移量的值加上N
- 从服务器每次成功接收到主服务器传播的N字节数据，就将自己的复制偏移量增加N
主服务器的复制积压缓冲区
- 缓冲区是一个固定长度，先进先出的队列，默认大小为 1MB
- 因为是固定长度 这就意味着当长度满的时候，后入的元素会剔除签名的元素
-
主服务器在命令传播期间，命令不仅发送给从服务器，还会写入的命令复制到缓冲区
image.png
-
复制缓冲区的构造如下：
image.png
- 当断线重连后执行PSYNC命令时候，有两种情况考虑：1.如果从的offset偏移量之后的数据还在缓冲区，则执行重同步。2。如果不在则还是需要执行完整同步
服务器的运行ID
- 如果断线重连后，主服务器检测到运行的从ID与之前的一致，那么就可以重试部分重同步操作。
- 如果不一致只能完全同步
PSYNC命令的实现
调用PSYNC命令有2种方式
- 1.如果从服务器以前没有父之过任何主服务器或者之前执行过SLAVEOF no one（也就是不是任何机器的从服务器） 命令，那么从服务器在开始一次新的复制时将向主服务器发送PSYNC？-1命令，主动请求主服务器执行完整同步
- 2.相反则想主服务器发送PSYNC <runid> <offset>，runid和offset都是从服务器的，主服务器会根据这两个参数来决定是完整同步还是部分同步
- 如果主服务器返回FULLRESYNC <runid> <offset> 代表执行完整同步
- 4.如果主服务器返回CONTINUE 则执行部分同步
-
5.如果返回- ERR 则代表主服务器redis版本低于2.8，不识别该命令，从服务器只能发生SYNC命令
image.png
复制的实现
- 1.执行SLAVEOF 命令，在redisServer里面设置masterhost和masterport属性，完整这两个属性设置后即返回OK。然后一步执行BGSAVE
- 2.建立socket链接
-
3.发送PING
image.png
-
4.身份验证：如果从服务器设置了masterauth则进行身份验证否则不验证。同时还要查看主服务器是否开启了requirepass
image.png
- 5.发生端口信息
- 6.同步
- 命令传播
心跳检测
- 在命令传播阶段，从服务器每秒都会向主服务器发生命令：REPLCONF ACK <replication_offset>
- replication_offset：是从服务器当前的复制偏移量
- REPLCONF ACK可以检测主从服务器之间的网络连接状态
- REPLCONF ACK可以辅助实现了min-slaves选项
- REPLCONF ACK可以检测命令丢失
检测主从服务器之间的网络连接状态
-
向主服务器执行INFO replication 命令可以看到，相应的从服务器最后一次向主服务器发送的REPLCONF ACK距离现在过了多少秒
image.png
辅助实现了min-slaves选项
- redis的min-salves-to-write和min-salves-max-lag两个选项可以防止服务器在不安全的情况下执行写命令，比如上述两个选项我们设置3和10，则在从服务器少于3个或者三个从服务器的延迟（lag）值都大于或等于10秒的时候，主服务器将拒绝写命令
- 这样的好处就是我们可以知道我们的命令是否成功的被复制
检测命令丢失
- 主服务器根据从服务器返回的offset检测从服务器的写命令是否丢失，如果丢失则主服务器从缓冲区拿取到相应命令重新提交给从服务器
网友评论