Redis Cluster为Redis官方提供的一种分布式集群解决方案。它支持在线节点增加和减少。 集群中的节点角色可能是主,也可能是从,但需要保证每个主节点都要有对应的从节点, 这样保证了其高可用。
Redis Cluster采用了分布式系统的分片(分区)的思路,每个主节点为一个分片,这样也就意味着 存储的数据是分散在所有分片中的。当增加节点或删除主节点时,原存储在某个主节点中的数据 会自动再次分配到其他主节点。
如图,各节点间是相互通信的,通信端口为各节点Redis服务端口+10000,这个端口是固定的,所以注意防火墙设置, 节点之间通过二进制协议通信,这样的目的是减少带宽消耗。
在Redis Cluster中有一个概念slot,我们翻译为槽。Slot数量是固定的,为16384个。这些slot会均匀地分布到各个 节点上。另外Redis的键和值会根据hash算法存储在对应的slot中。简单讲,对于一个键值对,存的时候在哪里是通过 hash算法算出来的,那么取得时候也会算一下,知道值在哪个slot上。根据slot编号再到对应的节点上去取。
Redis Cluster无法保证数据的强一致性,这是因为当数据存储时,只要在主节点上存好了,就会告诉客户端存好了, 如果等所有从节点上都同步完再跟客户端确认,那么会有很大的延迟,这个对于客户端来讲是无法容忍的。所以, 最终Redis Cluster只好放弃了数据强一致性,而把性能放在了首位。
Redis Cluster至少需要三个节点,即一主二从,本实验中我们使用6个节点搭建。
主机名 | IP:Port | 角色 |
---|---|---|
aming01 | 192.168.222.128:6379 | Redis Master |
aming02 | 192.168.222.129:6379 | Redis Master |
aming03 | 192.168.222.130:6379 | Redis Master |
aming01 | 192.168.222.128:6380 | Redis slave |
aming02 | 192.168.222.129:6380 | Redis slave |
aming03 | 192.168.222.130:6380 | Redis slave |
安装步骤参考前面的章节,其中配置文件示例如下:
bind 192.168.222.128
port 6379
daemonize yes
pidfile /var/run/redis_6379.pid
dir /var/redis_6379
appendonly yes
#开启集群
cluster-enabled yes
#集群的配置文件,首次启动会自动创建
cluster-config-file nodes-6379.conf
#集群节点连接超时时间,15秒
cluster-node-timeout 15000
如果开启了firewalld,所有机器都需要增加如下规则:
firewall-cmd --permanent --add-port 6379-6380/tcp
firewall-cmd --permanent --add-port 16379-16380/tcp
firewall-cmd --reload
假设当前已经启动6个redis服务:
192.168.222.128:6379
192.168.222.128:6380
192.168.222.129:6379
192.168.222.129:6380
192.168.222.130:6379
192.168.222.130:6380
构建集群的命令为:
redis-cli --cluster create 192.168.222.128:6379 192.168.222.128:6380 192.168.222.129:6379 192.168.222.129:6380 192.168.222.130:6379 192.168.222.130:6380 --cluster-replicas 1
说明:--cluster-replicas 1表示每个主对应一个从。
可以在任何一个节点上去连接集群:
redis-cli -c -h 192.168.222.129 -p 6380
> set k1 123
> set k2 'abc'
> get k1
> get k2
> keys *
说明:在创建key的过程中,它会把不同的key分配到不同的slot中,即使我们登录到了129:6380,但在写入数据时,它会选择其他节点。
查看集群情况:
redis-cli --cluster check 192.168.222.128:6379
在线迁移槽
redis-cli --cluster reshard 192.168.121.200:6001
选择一个目标节点的id 源选择all
平衡各节点槽数量
redis-cli --cluster rebalance --cluster-threshold 1 192.168.222.128:6379
删除集群节点
redis-cli --cluster del-node 192.168.222.129:6380 nodeid
这里必须是没有槽的节点,所以必须先移除槽,否则报错 被删除的node重启后,依然记得集群中的其它节点,这是需要执行cluster forget nodeid来忘记其它节点
添加集群节点
redis-cli --cluster add-node 192.168.222.129:6380 192.168.222.128:6379 #这样添加的节点为主
redis-cli --cluster add-node 192.168.222.129:6380 192.168.222.128:6379 --cluster-slave # 这样添加的节点为从
redis-cli --cluster add-node 192.168.222.129:6380 192.168.222.128:6379 --cluster-slave --cluster-master-id 3c3a0c74aae0b56170ccb03a76b60cfe7dc1912e #添加从并指定主
给添加的节点分配slot
redis-cli --cluster reshard 192.168.222.129:6379
How many slots do you want to move (from 1 to 16384)? #定义要分配多少slot
What is the receiving node ID? #定义接收slot的nodeid,即新的master id
Source node #1: #定义第一个源master的id,如果想在所有master上拿slot,直接敲all
Source node #2: #定义第二个源master的id,如果不再继续有新的源,直接敲done
将集群外部redis实例中的数据导入到集群中去
redis-cli --cluster import 192.168.222.130:6379 --cluster-from 192.168.222.200:6379 --cluster-copy
Cluster-from后面跟外部redis的ip和port 如果只使用cluster-copy,则要导入集群中的key不能在,否则如下: 如果集群中已有同样的key,如果需要替换,可以cluster-copy和cluster-replace联用,这样集群中的key就会被替换为外部的