Skip to content

Latest commit

 

History

History
140 lines (97 loc) · 5.35 KB

5.92-Redis_Cluster.md

File metadata and controls

140 lines (97 loc) · 5.35 KB

Redis Cluster介绍

Redis Cluster为Redis官方提供的一种分布式集群解决方案。它支持在线节点增加和减少。 集群中的节点角色可能是主,也可能是从,但需要保证每个主节点都要有对应的从节点, 这样保证了其高可用。

Redis Cluster采用了分布式系统的分片(分区)的思路,每个主节点为一个分片,这样也就意味着 存储的数据是分散在所有分片中的。当增加节点或删除主节点时,原存储在某个主节点中的数据 会自动再次分配到其他主节点。

如图,各节点间是相互通信的,通信端口为各节点Redis服务端口+10000,这个端口是固定的,所以注意防火墙设置, 节点之间通过二进制协议通信,这样的目的是减少带宽消耗。

在Redis Cluster中有一个概念slot,我们翻译为槽。Slot数量是固定的,为16384个。这些slot会均匀地分布到各个 节点上。另外Redis的键和值会根据hash算法存储在对应的slot中。简单讲,对于一个键值对,存的时候在哪里是通过 hash算法算出来的,那么取得时候也会算一下,知道值在哪个slot上。根据slot编号再到对应的节点上去取。

Redis Cluster无法保证数据的强一致性,这是因为当数据存储时,只要在主节点上存好了,就会告诉客户端存好了, 如果等所有从节点上都同步完再跟客户端确认,那么会有很大的延迟,这个对于客户端来讲是无法容忍的。所以, 最终Redis Cluster只好放弃了数据强一致性,而把性能放在了首位。

Redis Cluster搭建

Redis Cluster至少需要三个节点,即一主二从,本实验中我们使用6个节点搭建。

角色划分

主机名 IP:Port 角色
aming01 192.168.222.128:6379 Redis Master
aming02 192.168.222.129:6379 Redis Master
aming03 192.168.222.130:6379 Redis Master
aming01 192.168.222.128:6380 Redis slave
aming02 192.168.222.129:6380 Redis slave
aming03 192.168.222.130:6380 Redis slave

安装Redis

安装步骤参考前面的章节,其中配置文件示例如下:

bind 192.168.222.128
port 6379  
daemonize yes
pidfile /var/run/redis_6379.pid 
dir /var/redis_6379
appendonly yes 
#开启集群
cluster-enabled yes  
#集群的配置文件,首次启动会自动创建
cluster-config-file nodes-6379.conf  
#集群节点连接超时时间,15秒
cluster-node-timeout 15000 

部署Cluster

如果开启了firewalld,所有机器都需要增加如下规则:

firewall-cmd --permanent --add-port 6379-6380/tcp
firewall-cmd --permanent --add-port  16379-16380/tcp
firewall-cmd --reload

假设当前已经启动6个redis服务:

192.168.222.128:6379
192.168.222.128:6380
192.168.222.129:6379
192.168.222.129:6380
192.168.222.130:6379
192.168.222.130:6380

构建集群的命令为:

redis-cli --cluster create 192.168.222.128:6379 192.168.222.128:6380 192.168.222.129:6379 192.168.222.129:6380 192.168.222.130:6379 192.168.222.130:6380 --cluster-replicas 1

说明:--cluster-replicas 1表示每个主对应一个从。

连接集群

可以在任何一个节点上去连接集群:

redis-cli -c -h 192.168.222.129 -p 6380
> set k1 123
> set k2 'abc'
> get k1
> get k2
> keys *

说明:在创建key的过程中,它会把不同的key分配到不同的slot中,即使我们登录到了129:6380,但在写入数据时,它会选择其他节点。

管理集群

查看集群情况:

redis-cli  --cluster check 192.168.222.128:6379

在线迁移槽

redis-cli --cluster reshard 192.168.121.200:6001

选择一个目标节点的id 源选择all

平衡各节点槽数量

redis-cli --cluster rebalance --cluster-threshold 1 192.168.222.128:6379

删除集群节点

redis-cli --cluster del-node 192.168.222.129:6380 nodeid

这里必须是没有槽的节点,所以必须先移除槽,否则报错 被删除的node重启后,依然记得集群中的其它节点,这是需要执行cluster forget nodeid来忘记其它节点

添加集群节点

redis-cli --cluster add-node 192.168.222.129:6380 192.168.222.128:6379  #这样添加的节点为主
redis-cli --cluster add-node 192.168.222.129:6380 192.168.222.128:6379 --cluster-slave  # 这样添加的节点为从
redis-cli --cluster add-node 192.168.222.129:6380 192.168.222.128:6379 --cluster-slave --cluster-master-id 3c3a0c74aae0b56170ccb03a76b60cfe7dc1912e #添加从并指定主

给添加的节点分配slot

redis-cli --cluster reshard 192.168.222.129:6379
How many slots do you want to move (from 1 to 16384)? #定义要分配多少slot
What is the receiving node ID? #定义接收slot的nodeid,即新的master id
Source node #1: #定义第一个源master的id,如果想在所有master上拿slot,直接敲all
Source node #2: #定义第二个源master的id,如果不再继续有新的源,直接敲done

将集群外部redis实例中的数据导入到集群中去

redis-cli --cluster import 192.168.222.130:6379 --cluster-from 192.168.222.200:6379 --cluster-copy

Cluster-from后面跟外部redis的ip和port 如果只使用cluster-copy,则要导入集群中的key不能在,否则如下: 如果集群中已有同样的key,如果需要替换,可以cluster-copy和cluster-replace联用,这样集群中的key就会被替换为外部的