Redis restudy 7 发布订阅 主从复制 哨兵模式
uwupu 啦啦啦啦啦
  2023-02-13 19:29 2023-02-13 19:29   2024-10-17 22:27      3.1k 字  13 分钟  

Redis发布订阅

image

Redis可以订阅任何数量的频道。

命令

psubscribe pattern [pattern ...]：订阅一个或多个符合给定模式的频道

pubsub subcommand [argument [argument ..]]：查询订阅与发布系统状态

publish channel message：将信息发送到指定的频道

punsubscribe [pattern [pattern ...]]：退订所给定模式的频道

subscribe channel [channel ...]：订阅给定的一个或多个频道的信息

unsubscribe [channel [channel ...]]：退订给定的频道

1
2
3
4
5
6
7
8
9
10
11
12
# 订阅频道
127.0.0.1:6379> subscribe yn
Reading messages... (press Ctrl-C to quit)
1) "subscribe"
2) "yn"
3) (integer) 1
1) "message"
2) "yn"
3) "HelloWorld"
1) "message" #消息
2) "yn"  #来自哪个频道
3) "ZhangSan"  #消息内容
1
2
3
4
5
# 频道信息发布
127.0.0.1:6379> publish yn HelloWorld
(integer) 1
127.0.0.1:6379> publish yn ZhangSan
(integer) 1

使用场景

实时消息系统，实时聊天。

应用

有更专业的MQ，Redis订阅可能不需要。

Redis主从复制

介绍

主从复制，将一台Redis服务器的数据，复制到其他Redis服务器。

前者为主节点（Master/leader）,后者为从节点（slave/follower）;

数据复制是单向的，只能由主节点到从节点，Master写为主，Slave读为主。

主从复制，读写分离！80%的情况下都是在进行读操作，减缓服务器压力。

作用

  1. 数据冗余：主从复制实现了数据的热备份，是持久化之外的一种数据冗余方式
  2. 故障恢复：当主节点出现问题时，可以由从节点提供服务，实现快速的故障回复，实际上是一种服务的冗余；
  3. 负载均衡：在主从复制的基础上，配合读写分离，可以由主节点提供写服务，由从节点提供度服务，分担服务器负载；尤其是在写少读多的场景下，通过多个节点分担读负载，可以大大提高Redis服务器并发量。
  4. 高可用基石：主从复制为哨兵和集群提供能够实施的基础，因此主从复制是Redis高可用的基础。

（“高可用”名词一般用于集群）

一般来说，Redis在工程项目中了，只用一台Redis是万万不能的

  1. 从结构上，单个Redis服务器会发生单点故障，并且一台服务器需要处理所有的请求负载，压力较大；
  2. 从容量上，单个Redis服务器内存容量有限；一般来说，单台Redis最大使用内存不应该超过20G。

只要在公司中，主从复制就是要必须使用的，在真实的项目中不可能单机使用Redis。

性质

  • 默认情况下，每台Redis服务器都是主节点

  • 一个主节点可以有多个从节点，一个从节点只能有一个主节点。

环境配置

只配置从库，不用配置主库。

命令

info replication：查看当前库的信息

1
2
3
4
5
6
7
8
9
10
11
12
127.0.0.1:6379> info replication
# Replication
role:master  
connected_slaves:0
master_replid:cf3c24d5b4964e0604f7cbc984152291c0175d35
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:0
second_repl_offset:-1
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0

配置

单机测试学习

  • 准备3-4个配置文件

  1. 要进行单机测试的话，要修改的配置

    • 端口，pid，log文件，备份文件名

  2. 只需配置从机，不配置主机

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    #其中一个从机的信息
    127.0.0.1:6380> slaveof 127.0.0.1 6379  #认定指定服务器为主机
    OK
    127.0.0.1:6380> info replication
    # Replication
    role:slave # 当前角色：从机
    master_host:127.0.0.1
    master_port:6379
    master_link_status:up
    master_last_io_seconds_ago:5
    master_sync_in_progress:0
    slave_repl_offset:0
    slave_priority:100
    slave_read_only:1
    connected_slaves:0
    master_replid:36c79b03b82a86ae900da1f1a4c8b98ad063dbdd
    master_replid2:0000000000000000000000000000000000000000
    master_repl_offset:0
    second_repl_offset:-1
    repl_backlog_active:1
    repl_backlog_size:1048576
    repl_backlog_first_byte_offset:1
    repl_backlog_histlen:0

  3. 查看结论

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    # 主机的信息
    root@yynlinux:~/yn# redis-cli -p 6379
    127.0.0.1:6379> info replication
    # Replication
    role:master
    connected_slaves:1  #连接的从机
    slave0:ip=127.0.0.1,port=6380,state=online,offset=140,lag=0 #从机的信息
    master_replid:36c79b03b82a86ae900da1f1a4c8b98ad063dbdd
    master_replid2:0000000000000000000000000000000000000000
    master_repl_offset:140
    second_repl_offset:-1
    repl_backlog_active:1
    repl_backlog_size:1048576
    repl_backlog_first_byte_offset:1
    repl_backlog_histlen:14

正式配置

命令配置

在从机上

1
2
127.0.0.1:6380> slaveof 127.0.0.1 6379  #认定指定服务器为主机
OK

即可实现主从复制。

配置文件配置
1
2
3
replicaof <masterip> <masterport> # 主机ip和端口
masterauth <master-password>  #主机密码，密码和用户可以不存在
masteruser <username> #主机用户

其他

  • 主机可以写，从机只能读。

  • 主机的数据会被从机自动保存

1
2
3
#在从机写会发生的事情
127.0.0.1:6380> set k2 v2
(error) READONLY You can't write against a read only replica.
  • 主机宕机后，从机依旧连接主机；主机如果恢复了，从机依旧能够获取主机的信息。
  • 命令行配置的主从关系在从机重启后会消失，只有配置文件配置的主从能够保持。

原理

Slave启动连接后会向master发送一个sync命令，

master接到命令，启动后台的存盘进程，同时收集所有接受到的用于修改数据集的命令，在后台进程执行结束后，master将整个数据文件发送到slave，并完成一次完全同步；

全量复制：slave将收到的数据文件，将其存盘并加载到内存中；

增量复制：Master继续将新的所有收集到的修改命令依次传给slave，完成同步。

主从复制形式

  1. 一个主机带多个从机

    image

  2. 一个主机带多个从机，从机再带从机

    image

    （中间的节点仍是从节点，不能写入。）

取消从机模式

两种方式：

  1. 改配置文件，重启

  2. 命令：slaveof no one

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    127.0.0.1:6380> slaveof no one
    OK
    127.0.0.1:6380> info replication
    # Replication
    role:master
    connected_slaves:0
    master_replid:31c0ab1d95cc58365a1c357e721646ace499ad92
    master_replid2:f7d2c0c54849a249b28c1aaaa3c19595b0b732f9
    master_repl_offset:1666
    second_repl_offset:1667
    repl_backlog_active:1
    repl_backlog_size:1048576
    repl_backlog_first_byte_offset:1
    repl_backlog_histlen:1666

Redis哨兵模式

自动选举Master~❤

传统的主从切换

当主服务器宕机，需要手动把一台服务器切换为主服务器，这需要人工干预，费时费力，且造成短时间服务不可用。

Redis2.8正式提供了Sentinel哨兵架构来解决这个问题。

介绍

  • 哨兵模式能够监控主机是否故障，若故障则根据投票数自动将从库转换为主库。

  • 哨兵是一种特殊的模式，哨兵是一个独立的进程，他会独立运行。

  • 哨兵通过发送命令，等待Redis服务器响应，从而监控运行的多个Redis示例。

image

原理

假设主服务器宕机，

  • 哨兵1会检测到这个结果，系统不会马上进行failover过程，仅仅是哨兵1认为主服务器不可用，这个现象称为主观下线；
  • 当后面的哨兵也检测到主服务器不可用，并达到一定数量时，那么哨兵之间会进行一次投票，投票的结果由一个哨兵发起（这个哨兵是随机的），进行failover[故障转移]操作，切换成功后，就会通过发布订阅模式，让各个哨兵把自己监控的从服务器实现切换主机，这个过程称为客观下线。

示例

  1. 配置哨兵配置文件

    1
    2
    sentinel monitor 被监控的名称 地址 端口 最低投票数
    sentinel monitor r1 127.0.0.1 6379 1
    • 被监控的名称自定义，不影响结果

  2. 启动哨兵

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    root@yynlinux:~/yn# redis-sentinel sentinel.conf
    63284:X 13 Feb 2023 13:34:16.343 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
    63284:X 13 Feb 2023 13:34:16.345 # Redis version=6.0.16, bits=64, commit=00000000, modified=0, pid=63284, just started
    63284:X 13 Feb 2023 13:34:16.346 # Configuration loaded
    63284:X 13 Feb 2023 13:34:16.349 * Increased maximum number of open files to 10032 (it was originally set to 1024).
                    _._
               _.-``__ ''-._
          _.-``    `.  `_.  ''-._           Redis 6.0.16 (00000000/0) 64 bit
      .-`` .-```.  ```\/    _.,_ ''-._
     (    '      ,       .-`  | `,    )     Running in sentinel mode
     |`-._`-...-` __...-.``-._|'` _.-'|     Port: 26379
     |    `-._   `._    /     _.-'    |     PID: 63284
      `-._    `-._  `-./  _.-'    _.-'
     |`-._`-._    `-.__.-'    _.-'_.-'|
     |    `-._`-._        _.-'_.-'    |           http://redis.io
      `-._    `-._`-.__.-'_.-'    _.-'
     |`-._`-._    `-.__.-'    _.-'_.-'|
     |    `-._`-._        _.-'_.-'    |
      `-._    `-._`-.__.-'_.-'    _.-'
          `-._    `-.__.-'    _.-'
              `-._        _.-'
                  `-.__.-'

    63284:X 13 Feb 2023 13:34:16.371 # Sentinel ID is aab9a70d6160f5ffdcbc57130a26295510730b10
    63284:X 13 Feb 2023 13:34:16.372 # +monitor master r1 127.0.0.1 6379 quorum 1
    63284:X 13 Feb 2023 13:34:16.377 * +slave slave 127.0.0.1:6380 127.0.0.1 6380 @ r1 127.0.0.1 6379
    63284:X 13 Feb 2023 13:36:14.070 # +sdown master r1 127.0.0.1 6379
    63284:X 13 Feb 2023 13:36:14.072 # +odown master r1 127.0.0.1 6379 #quorum 1/1
    63284:X 13 Feb 2023 13:36:14.073 # +new-epoch 1
    63284:X 13 Feb 2023 13:36:14.075 # +try-failover master r1 127.0.0.1 6379
    63284:X 13 Feb 2023 13:36:14.084 # +vote-for-leader aab9a70d6160f5ffdcbc57130a26295510730b10 1
    63284:X 13 Feb 2023 13:36:14.086 # +elected-leader master r1 127.0.0.1 6379
    63284:X 13 Feb 2023 13:36:14.088 # +failover-state-select-slave master r1 127.0.0.1 6379
    63284:X 13 Feb 2023 13:36:14.182 # +selected-slave slave 127.0.0.1:6380 127.0.0.1 6380 @ r1 127.0.0.1 6379
    63284:X 13 Feb 2023 13:36:14.184 * +failover-state-send-slaveof-noone slave 127.0.0.1:6380 127.0.0.1 6380 @ r1 127.0.0.1 6379
    63284:X 13 Feb 2023 13:36:14.243 * +failover-state-wait-promotion slave 127.0.0.1:6380 127.0.0.1 6380 @ r1 127.0.0.1 6379
    63284:X 13 Feb 2023 13:36:14.860 # +promoted-slave slave 127.0.0.1:6380 127.0.0.1 6380 @ r1 127.0.0.1 6379
    63284:X 13 Feb 2023 13:36:14.862 # +failover-state-reconf-slaves master r1 127.0.0.1 6379
    63284:X 13 Feb 2023 13:36:14.938 # +failover-end master r1 127.0.0.1 6379
    63284:X 13 Feb 2023 13:36:14.939 # +switch-master r1 127.0.0.1 6379 127.0.0.1 6380
    63284:X 13 Feb 2023 13:36:14.942 * +slave slave 127.0.0.1:6379 127.0.0.1 6379 @ r1 127.0.0.1 6380
    63284:X 13 Feb 2023 13:36:15.208 * +slave slave 127.0.0.1:6381 127.0.0.1 6381 @ r1 127.0.0.1 6380
    63284:X 13 Feb 2023 13:36:44.969 # +sdown slave 127.0.0.1:6379 127.0.0.1 6379 @ r1 127.0.0.1 6380

其他

  • 若主机宕机后，哨兵会自动投票选举从机作为主机。
  • 主机宕机恢复后，哨兵会向该主机发送命令，将该主机变为新主机的从机。

优点

  1. 主从可以切换，故障可以转移，系统的可用性会更好；
  2. 哨兵模式就是主从模式的升级，手动到自动；

缺点

  1. Redis不易扩容，集群容量一旦达到上限，在线扩容十分麻烦；
  2. 实现哨兵模式的配置麻烦。

配置文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
bind 127.0.0.1 ::1
port 26379  #如果有哨兵集群，则需要配置端口
daemonize no
pidfile "/var/run/sentinel/redis-sentinel.pid"
logfile "/var/log/redis/redis-sentinel.log"
# 指定监听的master
#    quorum 有多少个哨兵认为失联了，就认定主机down了
#sentinel monitor 主机名   地址     端口 quorum
sentinel monitor mymaster 127.0.0.1 6379 2
#配置主机密码
sentinel auto-pass <master-name> <password>
# 指定多长时间，哨兵主观认为master不可用了，单位是毫秒，默认为30秒
# 默认延时操作                      主机名        延时
sentinel down-after-milliseconds <master-name> <milliseconds>
#  故障转移时，最多允许多少个从机同时从master进行数据同步。  因此，1则表示串行。设为1保证每次只有一个slave处于不能处理请求的状态
sentinel parallel syncs <master-name> <numslaves>
# 故障转移 超时时间 若超过180000ms没有转移成功，则视为故障转移失败
sentinel failover-timeout mymaster 180000

# 配置某一事件发生时要执行的脚本
# 通知型脚本：当sentinel有任何警告级别的事件发生时（比如Redis实例主管失效、客观失效等），将会去调用这个脚本，这时脚本应该通过邮件，SMS等方式通知系统管理员关于系统不正常运行的而信息；调用该脚本时，将会给脚本传递两个参数，一个是事件的类型，一个是事件的描述。若配置了这个脚本，则必须保证脚本可执行，否则sentinel无法正常启动
# 规则：
# 1. 若脚本执行后返回1，则该脚本会被再次执行，重复次数默认为10
# 2. 若脚本返回2或一个比2更高的值，脚本不会被重复执行
# 3. 若脚本执行过程中收到中断信号终止了，则同返回值为1的行为相同
# 4. 脚本最大执行时间为60s，超过这个时间会被一个SIGKILL信号终止，之后重新执行。
sentinel notification-script mymaster /var/redis/notfiy.sh

# 当一个master由于failover而发生改变时，这个脚本将被调用，通知相关的客户端关于master地址已经发生改变的信息，以下参数将会在调用脚本时传给脚本。
# <master-name> <role> <state> <from-ip> <from-port> <to-ip> <to-port>
sentinel client-reconfig-script mymaster /var/redis/reconfig.sh

...

Redis restudy 7 发布订阅 主从复制 哨兵模式
2023/02/13/Redis/Redis-restudy-7/
作者
uwupu
发布于
2023-02-13 19:29
许可
 评论
  1. 1. Redis发布订阅
    1. 1.1. 命令
    2. 1.2. 使用场景
    3. 1.3. 应用
  2. 2. Redis主从复制
    1. 2.1. 介绍
    2. 2.2. 作用
    3. 2.3. 一般来说，Redis在工程项目中了，只用一台Redis是万万不能的
    4. 2.4. 性质
    5. 2.5. 环境配置
      1. 2.5.1. 命令
      2. 2.5.2. 配置
        1. 2.5.2.1. 单机测试学习
        2. 2.5.2.2. 正式配置
          1. 2.5.2.2.1. 命令配置
          2. 2.5.2.2.2. 配置文件配置
      3. 2.5.3. 其他
    6. 2.6. 原理
    7. 2.7. 主从复制形式
    8. 2.8. 取消从机模式
  3. 3. Redis哨兵模式
    1. 3.1. 传统的主从切换
    2. 3.2. 介绍
    3. 3.3. 原理
    4. 3.4. 示例
    5. 3.5. 其他
    6. 3.6. 优点
    7. 3.7. 缺点
    8. 3.8. 配置文件