redis集群搭建

头像
summer
    阅读 7 分钟
    1

    Redis集群实现

    查看linux中搭建redis、redis分片、redis哨兵

    1.1Redis集群

    1.1.1为什么要搭建集群
    通常，为了提高网站响应速度，总是把热点数据保存在内存中而不是直接从后端数据库中读取。
    Redis是一个很好的Cache工具。大型网站应用，热点数据量往往巨大，几十G上百G是很正常的事儿。
    由于内存大小的限制，使用一台 Redis 实例显然无法满足需求，这时就需要使用多台 Redis作为缓存数据库。但是如何保证数据存储的一致性呢,这时就需要搭建redis集群.采用合理的机制,保证用户的正常的访问需求.
    采用redis集群,可以保证数据分散存储,同时保证数据存储的一致性.并且在内部实现高可用的机制.实现了服务故障的自动迁移.

    1.1.2集群搭建计划
    主从划分:
    3台主机 3台从机共6台 端口划分7000-7005

    1.2集群搭建

    1.2.1准备集群文件夹
    1.准备集群文件夹

    cd /usr/local/src/redis

mkdir cluster

    2.在cluster文件夹中分别创建7000-7005文件夹

    cd cluster
mkdir 7000 7001 7002 7003 7004 7005

    1.2.2复制配置文件
    说明:
    将redis根目录中的redis.conf文件复制到cluster/7000/ 并以原名保存

    cd /usr/local/src/redis
cp redis.conf cluster/7000/

    1.2.3编辑配置文件
    1.注释本地绑定IP地址
    image.png
    2.关闭保护模式
    image.png
    3.修改端口号
    image.png
    4.启动后台启动
    image.png
    5.修改pid文件
    image.png
    6.修改持久化文件路径
    image.png
    7.设定内存优化策略
    image.png
    8.关闭AOF模式
    image.png
    9.开启集群配置
    image.png
    10.开启集群配置文件
    image.png
    11.修改集群超时时间
    image.png
    1.2.4复制修改后的配置文件
    说明:将7000文件夹下的redis.conf文件分别复制到7001-7005中

    cp 7000/redis.conf  7001/
cp 7000/redis.conf  7002/
cp 7000/redis.conf  7003/
cp 7000/redis.conf  7004/
cp 7000/redis.conf  7005/

    1.2.5批量修改
    说明:分别将7001-7005文件中的7000改为对应的端口号的名称,
    修改时注意方向键的使用

    vim 7000/redis.conf

:%s/7000/7001/g

表示把7000替换为7001
g:表示全部替换

    image.png
    1.2.6通过脚本编辑启动/关闭指令（cd /usr/local/src/redis/cluster ）

    1.创建启动脚本 vim start.sh
    image.png

    #!/bin/sh
redis-server 7000/redis.conf &
redis-server 7001/redis.conf &
redis-server 7002/redis.conf &
redis-server 7003/redis.conf &
redis-server 7004/redis.conf &
redis-server 7005/redis.conf &

    2.编辑关闭的脚本 vim shutdown.sh
    image.png

    #!/bin/sh
redis-cli -p 7000 shutdown &
redis-cli -p 7001 shutdown &
redis-cli -p 7002 shutdown &
redis-cli -p 7003 shutdown &
redis-cli -p 7004 shutdown &
redis-cli -p 7005 shutdown &

    3.启动redis节点
    sh start.sh
    4.检查redis节点启动是否正常
    image.png
    1.2.7创建redis集群
    注意：这里的1表示每台主机后面都只有一台从机
    任意目录下执行如下命令：

    #5.0版本执行 使用C语言内部管理集群
redis-cli --cluster create --cluster-replicas 1 192.168.126.129:7000 192.168.126.129:7001 192.168.126.129:7002 192.168.126.129:7003 192.168.126.129:7004 192.168.126.129:7005

    image.png
    image.png

    关于Redis集群失败说明
    如果redis集群搭建失败,则按照如下的步骤完成配置, 前提条件: 搭建集群节点必须为null
    1).关闭所有的redis节点
    2).删除多余的配置文件 dump.rdb/nodes.conf
    image.png
    3).检查redis.conf配置文件 参考文档…
    4).重启redis节点
    5).执行搭建命令

    1.2.8Redis集群高可用测试
    1.关闭redis主机.检查是否自动实现故障迁移.
    2.再次启动关闭的主机.检查是否能够实现自动的挂载.
    一般情况下 能够实现主从挂载
    个别情况: 宕机后的节点重启,可能挂载到其他主节点中(7001-7002) 正确的

    操作API:

    #配置redis集群
redis.nodes=192.168.126.129:7000,192.168.126.129:7001,192.168.126.129:7002,192.168.126.129:7003,192.168.126.129:7004,192.168.126.129:7005

    //从配置文件中，拿到redis节点信息
    @Value("${redis.nodes}")
    private String nodes;   //node,node,node.....
    
    @Bean
    public JedisCluster jedisCluster(){
        Set<HostAndPort> nodeSet = new HashSet<>();
        String[] nodeArray = nodes.split(",");
        for (String node : nodeArray){
            String host = node.split(":")[0];
            int port = Integer.parseInt(node.split(":")[1]);
            HostAndPort hostAndPort = new HostAndPort(host, port);
            nodeSet.add(hostAndPort);
        }
        return new JedisCluster(nodeSet);
    }

    image.png

    集群中数据如何存取

    1.3.3Redis hash槽存储数据原理
    hash槽算法 分区算法
    说明: RedisCluster采用此分区，所有的键根据哈希函数(CRC16[key]%16384)映射到0－16383槽内，共16384个槽位，每个节点维护部分槽及槽所映射的键值数据.根据主节点的个数,均衡划分区间.
     算法:哈希函数: Hash()=CRC16[key]%16384
     image.png
    当向redis集群中插入数据时,首先将key进行计算.之后将计算结果匹配到具体的某一个槽的区间内,之后再将数据set到管理该槽的节点中.
    image.png

    面试题

    1).Redis集群中由于有16384个槽位,所有redis集群中只能存储16384个key? 错误
    结论: 分区只是分片了数据归谁管理 到底能存储多少由内存大小决定.
    hash(key1)%16384 = 2000
    hash(key2)%16384 = 2000

    2).通过redis-cli -p 7000-7005 链接任意的节点都可以执行set操作 错误 从库不能写
    3).通过redis-cli -p 7000-7005 链接任意的主机都可以执行set操作 错误 数据存储严格按照分区算法完成.
    4).redis集群中最多能够支持多少台主机? 16384台
    5).redis集群一旦搭建,如果redis节点全部关机再次重启时,需要重新搭建集群? 错误 集群的状态都已经写入nodes.conf文件中.所以重启之后集群恢复.

    知识点: Redis集群崩溃的条件是主机缺失集群崩溃
    6).如果有1主1从共3组组成了redis集群. 问题: redis节点至少宕机几台.集群崩溃?? 2台…
    7).如果有1主2从共3组组成了redis集群. 问题: redis节点至少宕机几台.集群崩溃?? 5台
    8).如果有1主1从共3组组成了redis集群. 问题: redis节点最多宕机几台.集群崩溃?? 4台…

    Redis集群原理

    Redis集群高可用推选原理
    image.png
    Redis的所有节点都会保存当前redis集群中的全部主从状态信息.并且每个节点都能够相互通信.当一个节点发生宕机现象.则集群中的其他节点通过PING-PONG检测机制检查Redis节点是否宕机.当有半数以上的节点认为宕机.则认为主节点宕机.同时由Redis剩余的主节点进入选举机制.投票选举链接宕机的主节点的从机.实现故障迁移.

    Redis集群宕机条件

    特点:集群中如果主机宕机,那么从机可以继续提供服务,
    当主机中没有从机时,则向其它主机借用多余的从机.继续提供服务.如果主机宕机时没有从机可用,则集群崩溃.
    答案:9个redis节点,节点宕机5-7次时集群才崩溃.
    image.png

    关于Redis面试问题(二)

    1.什么是缓存穿透

    概念: 在高并发环境下,用户长时间访问数据库中不存在的数据,称之为缓存穿透.
    原理:
    image.png
    解决方案:

    1. IP限流 单位时间内设定IP的请求的次数.
    2. 布隆过滤器(解决缓存穿透)

    布隆过滤器介绍
    布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。
    布隆过滤器算法
    记住这一点即可：
    布隆过滤器认为数据存在，那么数据可能存在
    如果布隆过滤器认为数据不存在，那么数据一定不存在。
    image.png
    算法优化
    说明:由于hahs碰撞带来的问题.所以需要对算法进行优化 降低hash碰撞的概率.
    解决方案:

    1. 增加二进制向量的位数. 8/16/32/1024…
    2. 增加hash函数的个数.

    总结: 适当的增加二进制向量的位数和hash函数个数,可以有效的降低hash碰撞的概率
    guava 包 谷歌大神手写布隆过滤器算法…
    image.png
    布隆过滤器工作结构
    image.png
    1.2 什么是缓存击穿
    介绍: 由于某个热点数据在缓存中失效.导致大量的用户直接访问数据库.导致数据库宕机.
    俗语: 趁他病 要他命

    1.3 什么是缓存雪崩
    说明: 由于大量的数据在缓存中失效.导致用户访问缓存的命中率低.直接导致用户访问数据库.
    如何处理: 1.采用多级缓存 2.设定的超时时间不要相同. 10+随机数
    image.png

    javalinuxredis
    summer
    30 声望3 粉丝

    这一路我披荆斩棘，只为遇见你

    « 上一篇
    AOP总结笔记
    下一篇 »
    跨域问题

    引用和评论

    被 1 篇内容引用
    推荐阅读
    头像
    java8新特性总结

    summer阅读 1.1k

    头像
    Redis 单机、哨兵、集群搭建

    上海守门人赞 2阅读 4.6k评论 1

    头像
    这些年

    注销赞 2阅读 4.3k

    头像
    Spring-@Configuration注解简析

    半夏之沫赞 4阅读 2.8k

    头像
    单元测试-PowerMock

    半夏之沫赞 3阅读 8.5k

    头像
    还在用命令行监控服务器？试试这款监控工具吧，直观又易用！

    macrozheng赞 2阅读 738

    头像
    Java灵魂拷问13个为什么，你都会哪些？

    威哥爱编程赞 4阅读 582

    0 条评论
    得票最新