Redis 5 高可用集群搭建

一、集群方案比较

redis3.版权声明：本文遵循 CC 4.0 BY-SA 版权协议，若要转载请务必附上原文出处链接及本声明，谢谢合作！0版本的集群模式

哨兵模式：

在redis3.0以前的版本要实现集群一般是借助哨兵sentinel工具版权声明：本文遵循 CC 4.0 BY-SA 版权协议，若要转载请务必附上原文出处链接及本声明，谢谢合作！来监控mas版权声明：本文遵循 CC 4.0 BY-SA 版权协议，若要转载请务必附上原文出处链接及本声明，谢谢合作！ter节点的状态，如果master节点异常，则会做主从切换，将某一台slave作为master，哨兵的配置略微复杂，并且性能和高可用性等各方面表现一般，特别是在主从切换的瞬间存在访问瞬断的情况，而且哨兵模式只有一个主节点对外提供服务，没法支持很高的并发，且单个主节点内存也不宜设置得过大，否则会导致持久化文件过大，影响数据恢复或主从同步的效率。

二、高可用集群模式

redis集群是一个由多个主从节点群组成的分布式服务器群，它具有复制、高可用和分片特性。Redis集群不需要sentinel哨兵也能完成节点移除和故障转移的功能。需要将每个节点设置成集群模式，这种集群模式没有中心节点，可水平扩展，据官方文档称可以线性扩展到上万个节点(官方推荐不超过1000个节点)。redis集群的性能和高可用性均优于之前版本的哨兵模式，且集群配置非常简单。

三、部署Redis

#安装依赖库：
yum -y install gcc gcc-c++  
#下载redis到指定目录
wget -P /usr/local/redis-cluster http://download.redis.io/releases/redis-5.0.4.tar.gz
#创建安装目录
mkdir -p /usr/local/redis-cluster/{bin,etc,var}
#解压安装
tar -zxf redis-5.0.4.tar.gz && cd redis-5.0.4 && make && make install && /bin/cp src/{redis-benchmark,redis-check-aof,redis-check-rdb,redis-cli,redis-sentinel,redis-server} /usr/local/redis-cluster/bin/ && /bin/cp redis.conf /usr/local/redis-cluster/etc/ && ln -s bin/* /usr/local/bin/
#目录授权
useradd -M -U -s /sbin/nologin redis && chown -R redis:redis /usr/local/redis-cluster/
#启动文件配置
/bin/cp ../init.d/Redis-server-init /etc/init.d/redis-server

启动并验证

service redis-server start
ps -ef | grep redis 

四、开始集群搭建

redis集群需要至少要三个master节点，我们这里搭建三个master节点，并且给每个master再搭建一个slave节点，总共6个redis节点，这里用一台机器（可以多台机器部署，修改一下ip地址就可以了）部署6个redis实例，三主三从，搭建集群的步骤如下：

mkdir -p /usr/local/redis-cluster/{8001,8002,8003,8004,8005,8006}

把redis.conf配置文件copy到8001下，修改如下内容

1）daemonize yes （是否要用守护线程启动）
2）port 8001（分别对每个机器的端口号进行设置）
3）dir /usr/local/redis-cluster/var/8001/（指定数据文件存放位置，必须要指定不同的目录位置，不然会丢失数据）
4）cluster-enabled yes（启动集群模式）
5）cluster-config-file nodes-8001.conf（集群节点信息文件，这里800x最好和port对应上）
6）cluster-node-timeout 5000
7）bind 127.0.0.1（修改bind绑定访问ip信息为0.0.0.0）
8）protected-mode  no   （关闭保护模式）
9）appendonly yes （开启AOF持久化）
10）requirepass xxx (设置redis访问密码)
11）masterauth xxx (设置集群节点间访问密码，跟上面一致)
12）logfile /usr/local/redis-cluster/var/8001/redis.log（指定日志文件存放位置）

把修改后的配置文件，copy到8002-8006，修改第2、3、5项里的端口号，可以用批量替换：

sed -i 's/源字符串/目的字符串/g' 

分别启动6个redis实例，然后检查是否启动成功

/usr/local/redis-cluster/bin/redis-server /usr/local/redis-cluster/etc/800*/redis.conf

查看是否启动成功

ps -ef | grep redis 

用redis-cli创建整个redis集群(redis5以前的版本集群是依靠ruby脚本redis-trib.rb实现)

/usr/local/redis-cluster/bin/redis-cli -a xxx --cluster create --cluster-replicas 1 192.168.0.240:8001 192.168.0.240:8002 192.168.0.240:8003 192.168.0.240:8004 192.168.0.240:8005 192.168.0.240:8006

replicas 1 代表为每个创建的主服务器节点创建一个从服务器节点

五、验证集群

1）连接任意一个客户端即可：

./redis-cli -c -a xxx -h 192.168.0.240 -p 8001

提示：-a访问服务端密码，-c表示集群模式，指定ip地址和端口号

2）进行验证： cluster版权声明：本文遵循 CC 4.0 BY-SA 版权协议，若要转载请务必附上原文出处链接及本声明，谢谢合作！ info（查看集群信息）、cluster nodes（查看节点列表）

192.168.0.240:8001> cluster info
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3
cluster_current_epoch:6
cluster_my_epoch:1
cluster_stats_messages_ping_sent:911
cluster_stats_messages_pong_sent:965
cluster_stats_messages_sent:1876
cluster_stats_messages_ping_received:960
cluster_stats_messages_pong_received:911
cluster_stats_messages_meet_received:5
cluster_stats_messages_received:1876
192.168.0.240:8001> cluster nodes
f54ee2b0df65f1b7f1de5d3f8e9c9d8808579423 192.168.0.240:8004@18004 slave 8b08e249059dae4a415b6257bea1bff61313f292 0 1555312002595 4 connected
e55a445fc741753228a847c65c8b852d14eaceeb 192.168.0.240:8005@18005 slave 058a2764068401b3cec98d5ade6e01b7b248293d 0 1555312002696 5 connected
8b08e249059dae4a415b6257bea1bff61313f292 192.168.0.240:8002@18002 master - 0 1555312001000 2 connected 5461-10922
e27689efd71345a222b4d8691afbd6e7952505e4 192.168.0.240:8001@18001 myself,master - 0 1555312002000 1 connected 0-5460
ccfa8e88725238c3ad1de4d0fc4609e9464aa030 192.168.0.240:8006@18006 slave e27689efd71345a222b4d8691afbd6e7952505e4 0 1555312002000 6 connected
058a2764068401b3cec98d5ade6e01b7b248293d 192.168.0.240:8003@18003 master - 0 1555312002000 3 connected 10923-16383
192.168.0.240:8001>

3）进行数据操作验证

4）关闭集群则需要逐个进行关闭，使用命令：

/usr/local/redis-cluster/bin/redis-cli -a xxx -c -h 192.168.0.240 -p 8001 shutdown

5）集群管理工具

more /usr/local/redis-cluster/bin/create-cluster

#!/bin/bash
# Settings
PORT=8000
TIMEOUT=2000
NODES=6
REPLICAS=1
USER='redis'
INSTALLDIR='/usr/local/redis-cluster'

# You may want to put the above config parameters into config.sh in order to
# override the defaults without modifying this script.

if [ -a config.sh ]
then
    source "config.sh"
fi

# Computed vars
ENDPORT=$((PORT+NODES))

if [ "$1" == "start" ]
then
    while [ $((PORT < ENDPORT)) != "0" ]; do
        PORT=$((PORT+1))
        echo "Starting $PORT"
        su $USER -c "../bin/redis-server ../etc/${PORT}/redis.conf"
    done
    exit 0
fi

if [ "$1" == "create" ]
then
    HOSTS=""
    while [ $((PORT < ENDPORT)) != "0" ]; do
        PORT=$((PORT+1))
        HOSTS="$HOSTS 192.168.0.240:$PORT"
    done
    su $USER -c "$INSTALLDIR/bin/redis-cli --cluster create $HOSTS --cluster-replicas $REPLICAS"
    exit 0
fi

if [ "$1" == "stop" ]
then
    while [ $((PORT < ENDPORT)) != "0" ]; do
        PORT=$((PORT+1))
        echo "Stopping $PORT"
        su $USER -c "$INSTALLDIR/bin/redis-cli -p $PORT shutdown nosave"
    done
    exit 0
fi

if [ "$1" == "clean" ]
then
   while [ $((PORT < ENDPORT)) != "0" ]; do
     PORT=$((PORT+1))
     rm -rf $INSTALLDIR/var/$PORT/*.log
     rm -rf $INSTALLDIR/var/$PORT/appendonly*.aof
     rm -rf $INSTALLDIR/var/$PORT/dump*.rdb
     rm -rf $INSTALLDIR/var/$PORT/nodes*.conf
   done
   exit 0
fi

if [ "$1" == "clean-logs" ]
then
   while [ $((PORT < ENDPORT)) != "0" ]; do
     PORT=$((PORT+1))
     rm -rf $INSTALLDIR/var/$PORT/*.log
    done
    exit 0
fi

echo "Usage: $0 [start|create|stop|clean]"
echo "start       -- Launch Redis Cluster instances."
echo "create      -- Create a cluster using redis-cli --cluster create."
echo "stop        -- Stop Redis Cluster instances."
echo "clean       -- Remove all instances data, logs, configs."
echo "clean-logs  -- Remove just instances logs."