[TOC]
redis Sentinel 原理
1. 定时监控任务
一套合理的监控机制是Sentinel节点判定节点不可达的重要保证, Redis Sentinel通过三个定时监控任务完成对各个节点发现和监控:
- 每隔10秒,每个Sentinel节点会向主节点和从节点发送info命令获取 最新的拓扑结构
定时任务作用:
- 通过向主节点执行info命令, 获取从节点的信息, 这也是为什么 Sentinel节点不需要显式配置监控从节点。
- 当有新的从节点加入时都可以立刻感知出来。
- 节点不可达或者故障转移后, 可以通过info命令实时更新节点拓扑信 息
- 每隔2秒,每个Sentinel节点会向Redis数据节点的
__sentinel__:hello
频道上发送该Sentinel节点对于主节点的判断以及当前Sentinel节点的信息 ,同时每个Sentinel节点也会订阅该频道,来了解其他 Sentinel节点以及它们对主节点的判断
定时任务作用:
- 发现新的Sentinel节点: 通过订阅主节点的
__sentinel__:hello
了解其他 的Sentinel节点信息, 如果是新加入的Sentinel节点, 将该Sentinel节点信息保 存起来, 并与该Sentinel节点创建连接 - Sentinel节点之间交换主节点的状态, 作为后面客观下线以及领导者选举的依据
- 每隔1秒, 每个Sentinel节点会向主节点、 从节点、 其余Sentinel节点 发送一条ping命令做一次心跳检测, 来确认这些节点当前是否可达,这个定时任务是节 点失败判定的重要依据
2. 主观下线和客观下线
2.1 主观下线
每个Sentinel节点会每隔1秒对主节 点、 从节点、 其他Sentinel节点发送ping命令做心跳检测, 当这些节点超过 down-after-milliseconds
没有进行有效回复, Sentinel节点就会对该节点做失败 判定, 这个行为叫做主观下线
2.2 客观下线
当Sentinel主观下线的节点是主节点时, 该Sentinel节点会通过sentinel ismaster-down-by-addr
命令向其他Sentinel节点询问对主节点的判断, 当超过 <quorum>
个数, Sentinel节点认为主节点确实有问题, 这时该Sentinel节点会 做出客观下线的决定
从节点、 Sentinel节点在主观下线后, 没有后续的故障转移操作
3. 领导者Sentinel选举
Redis使用了Raft算法实 现领导者选举
Redis Sentinel进行领导者选举的大致思路:
- 每个在线的Sentinel节点都有资格成为领导者, 当它确认主节点主观 下线时候, 会向其他Sentinel节点发送sentinel is-master-down-by-addr命令, 要求将自己设置为领导者。
- 收到命令的Sentinel节点, 如果没有同意过其他Sentinel节点的sentinel is-master-down-by-addr命令, 将同意该请求, 否则拒绝。
- 如果该Sentinel节点发现自己的票数已经大于等于max(quorum, num(sentinels) /2+1) , 那么它将成为领导者。
- 如果此过程没有选举出领导者, 将进入下一次选举
4. 故障转移
故障转移流程:
- 在从节点列表中选出一个节点作为新的主节点, 选择方法如下:
- 过滤: “不健康”(主观下线、 断线) 、 5秒内没有回复过Sentinel节 点ping响应、 与主节点失联超过down-after-milliseconds*10秒。
- 选择slave-priority(从节点优先级) 最高的从节点列表, 如果存在则 返回, 不存在则继续。
- 选择复制偏移量最大的从节点(复制的最完整) , 如果存在则返 回, 不存在则继续。
- 选择runid最小的从节点。
- Sentinel领导者节点会对第一步选出来的从节点执行slaveof no one命 令让其成为主节点。
- Sentinel领导者节点会向剩余的从节点发送命令, 让它们成为新主节 点的从节点, 复制规则和parallel-syncs参数有关。
- Sentinel节点集合会将原来的主节点更新为从节点, 并保持着对其关 注, 当其恢复后命令它去复制新的主节点