Databases / 运维笔记

Redis 5 高可用集群搭建

Einic Yeo · 4月11日 · 2019年 · · ·

集群方案比较

redis3.0版本的集群模式

哨兵模式:

在redis3.0以前的版本要实现集群一般是借助哨兵sentinel工具来监控master节点的状态,如果master节点异常,则会做主从切换,将某一台slave作为master,哨兵的配置略微复杂,并且性能和高可用性等各方面表现一般,特别是在主从切换的瞬间版权声明:本文遵循 CC 4.0 BY-SA 版权协议,若要转载请务必附上原文出处链接及本声明,谢谢合作!存在访问瞬断的情况,而且哨兵模式只有一个主节点对外提供服务,没法支持很高的并发,且单个主节点内存也不宜设置得过大,否则会版权声明:本文遵循 CC 4.0 BY-SA 版权协议,若要转载请务必附上原文出处链接及本声明,谢谢合作!导致持久化文件过大,影响数据恢复或主从同步的效率。

高可用集群模式

redis集群是一个由多个主从节点群组成的分布式服务器群,它具有复制、高可用和分片特性。Redis集群不需要sentinel哨兵也能完成节点移除和故障转移的功能。需要将每个节点设置成集群模式,这种集群版权声明:本文遵循 CC 4.0 BY-SA 版权协议,若要转载请务必附上原文出处链接及本声明,谢谢合作!模式没有中心节点,可水平扩展,据官方文档称可以线性扩展到上万个节点(官方推荐不超过1000个节点)。redis集群的性能和高可用性均优于之前版本的哨兵模式,且集群配置非常简单。

部署Redis

#安装依赖库:
yum -y install gcc gcc-c++  
#下载redis到指定目录
wget -P /usr/local/redis-cluster http://download.redis.io/releases/redis-5.0.4.tar.gz
#创建安装目录
mkdir -p /usr/local/redis-cluster/{bin,etc,var}
#解压安装
tar -zxf redis-5.0.4.tar.gz && cd redis-5.0.4 && make && make install && /bin/cp src/{redis-benchmark,redis-check-aof,redis-check-rdb,redis-cli,redis-sentinel,redis-server} /usr/local/redis-cluster/bin/ && /bin/cp redis.conf /usr/local/redis-cluster/etc/ && ln -s bin/* /usr/local/bin/
#目录授权
useradd -M -U -s /sbin/nologin redis && chown -R redis:redis /usr/local/redis-cluster/
#启动文件配置
/bin/cp ../init.d/Redis-server-init /etc/init.d/redis-server

启动并验证

service redis-server start
ps -ef | grep redis 

开始集群搭建

redis集群需要至少要三个master节点,我们这里搭建三个master节点,并且给每个master再搭建一个slave节点,总共6个redis节点,这里用一台机器(可以多台机版权声明:本文遵循 CC 4.0 BY-SA 版权协议,若要转载请务必附上原文出处链接及本声明,谢谢合作!器部署,修改一下ip地址就可以了)部署6个redis实例,三主三从,搭建集群的步骤如下:

版权声明:本文遵循 CC 4.0 BY-SA 版权协议,若要转载请务必附上原文出处链接及本声明,谢谢合作!
mkdir -p /usr/local/redis-cluster/{8001,8002,8003,8004,8005,8006}

把redis.conf配置文件copy到8001下,修改如下内容

1)daemonize yes (是否要用守护线程启动)
2)port 8001(分别对每个机器的端口号进行设置)
3)dir /usr/local/redis-cluster/var/8001/(指定数据文件存放位置,必须要指定不同的目录位置,不然会丢失数据)
4)cluster-enabled yes(启动集群模式)
5)cluster-config-file nodes-8001.conf(集群节点信息文件,这里800x最好和port对应上)
6)cluster-node-timeout 5000
7)bind 127.0.0.1(修改bind绑定访问ip信息为0.0.0.0)
8)protected-mode  no   (关闭保护模式)
9)appendonly yes (开启AOF持久化)
10)requirepass xxx (设置redis访问密码)
11)masterauth xxx (设置集群节点间访问密码,跟上面一致)
12)logfile /usr/local/redis-cluster/var/8001/redis.log(指定日志文件存放位置)

把修改后的配置文件,copy到8002-8006,修改第2、3、5项里的端口号,可以用批量替换:

sed -i 's/源字符串/目的字符串/g' 

分别启动6个redis实例,然后检查是否启动成功

/usr/local/redis-cluster/bin/redis-server /usr/local/redis-cluster/etc/800*/redis.conf

查看是否启动成功

ps -ef | grep redis 

用redis-cli创建整个redis集群(redis5以前的版本集群是依靠ruby脚本redis-trib.rb实现)

/usr/local/redis-cluster/bin/redis-cli -a xxx --cluster create --cluster-replicas 1 192.168.0.240:8001 192.168.0.240:8002 192.168.0.240:8003 192.168.0.240:8004 192.168.0.240:8005 192.168.0.240:8006

replicas 1 代表为每个创建的主服务器节点创建一个从服务器节点

验证集群

1)连接任意一个客户端即可:

./redis-cli -c -a xxx -h 192.168.0.240 -p 8001

提示:-a访问服务端密码,-c表示集群模式,指定ip地址和端口号

2)进行验证: cluster info(查看集群信息)、cluster nodes(查看节点列表)

192.168.0.240:8001> cluster info
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3
cluster_current_epoch:6
cluster_my_epoch:1
cluster_stats_messages_ping_sent:911
cluster_stats_messages_pong_sent:965
cluster_stats_messages_sent:1876
cluster_stats_messages_ping_received:960
cluster_stats_messages_pong_received:911
cluster_stats_messages_meet_received:5
cluster_stats_messages_received:1876
192.168.0.240:8001> cluster nodes
f54ee2b0df65f1b7f1de5d3f8e9c9d8808579423 192.168.0.240:[email protected] slave 8b08e249059dae4a415b6257bea1bff61313f292 0 1555312002595 4 connected
e55a445fc741753228a847c65c8b852d14eaceeb 192.168.0.240:[email protected] slave 058a2764068401b3cec98d5ade6e01b7b248293d 0 1555312002696 5 connected
8b08e249059dae4a415b6257bea1bff61313f292 192.168.0.240:[email protected] master - 0 1555312001000 2 connected 5461-10922
e27689efd71345a222b4d8691afbd6e7952505e4 192.168.0.240:[email protected] myself,master - 0 1555312002000 1 connected 0-5460
ccfa8e88725238c3ad1de4d0fc4609e9464aa030 192.168.0.240:[email protected] slave e27689efd71345a222b4d8691afbd6e7952505e4 0 1555312002000 6 connected
058a2764068401b3cec98d5ade6e01b7b248293d 192.168.0.240:[email protected] master - 0 1555312002000 3 connected 10923-16383
192.168.0.240:8001>

3)进行数据操作验证

4)关闭集群则需要逐个进行关闭,使用命令:

/usr/local/redis-cluster/bin/redis-cli -a xxx -c -h 192.168.0.240 -p 8001 shutdown

5)集群管理工具

more /usr/local/redis-cluster/bin/create-cluster

#!/bin/bash
# Settings
PORT=8000
TIMEOUT=2000
NODES=6
REPLICAS=1
USER='redis'
INSTALLDIR='/usr/local/redis-cluster'

# You may want to put the above config parameters into config.sh in order to
# override the defaults without modifying this script.

if [ -a config.sh ]
then
    source "config.sh"
fi

# Computed vars
ENDPORT=$((PORT+NODES))

if [ "$1" == "start" ]
then
    while [ $((PORT < ENDPORT)) != "0" ]; do
        PORT=$((PORT+1))
        echo "Starting $PORT"
        su $USER -c "../bin/redis-server ../etc/${PORT}/redis.conf"
    done
    exit 0
fi

if [ "$1" == "create" ]
then
    HOSTS=""
    while [ $((PORT < ENDPORT)) != "0" ]; do
        PORT=$((PORT+1))
        HOSTS="$HOSTS 192.168.0.240:$PORT"
    done
    su $USER -c "$INSTALLDIR/bin/redis-cli --cluster create $HOSTS --cluster-replicas $REPLICAS"
    exit 0
fi

if [ "$1" == "stop" ]
then
    while [ $((PORT < ENDPORT)) != "0" ]; do
        PORT=$((PORT+1))
        echo "Stopping $PORT"
        su $USER -c "$INSTALLDIR/bin/redis-cli -p $PORT shutdown nosave"
    done
    exit 0
fi

if [ "$1" == "clean" ]
then
   while [ $((PORT < ENDPORT)) != "0" ]; do
     PORT=$((PORT+1))
     rm -rf $INSTALLDIR/var/$PORT/*.log
     rm -rf $INSTALLDIR/var/$PORT/appendonly*.aof
     rm -rf $INSTALLDIR/var/$PORT/dump*.rdb
     rm -rf $INSTALLDIR/var/$PORT/nodes*.conf
   done
   exit 0
fi

if [ "$1" == "clean-logs" ]
then
   while [ $((PORT < ENDPORT)) != "0" ]; do
     PORT=$((PORT+1))
     rm -rf $INSTALLDIR/var/$PORT/*.log
    done
    exit 0
fi

echo "Usage: $0 [start|create|stop|clean]"
echo "start       -- Launch Redis Cluster instances."
echo "create      -- Create a cluster using redis-cli --cluster create."
echo "stop        -- Stop Redis Cluster instances."
echo "clean       -- Remove all instances data, logs, configs."
echo "clean-logs  -- Remove just instances logs."
0 条回应