redis随笔

混合模式
把 aof-use-rdb-preamble 配成 yes就行了
前半部分为rdb，后半部分为aof

执行完BGREWRITEAOF
aof日志：
rdb、aof日志混存，为追加方式

redis-cli info replication
查看主从日志

# Replication
role:master
connected_slaves:2
slave0:ip=127.0.0.1,port=6377,state=online,offset=1193,lag=1
slave1:ip=127.0.0.1,port=6378,state=online,offset=1193,lag=1
master_replid:32da60ea7925c076cd058b41768e7cac9a0cfdc5
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:1193
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:1193

获取redis主从同步信息，使用的是laravel框架
Redis::info('REPLICATION')

array (
  'role' => 'master',
  'connected_slaves' => 2,
  'slave0' => 'ip=127.0.0.1,port=6377,state=online,offset=6569,lag=1',
  'slave1' => 'ip=127.0.0.1,port=6378,state=online,offset=6569,lag=1',
  'master_replid' => '32da60ea7925c076cd058b41768e7cac9a0cfdc5',
  'master_replid2' => 0,
  'master_repl_offset' => 6569,
  'second_repl_offset' => -1,
  'repl_backlog_active' => 1,
  'repl_backlog_size' => 1048576,
  'repl_backlog_first_byte_offset' => 1,
  'repl_backlog_histlen' => 6569,
)

集群相关配置

sentinel.conf 文件配置
规定时间内不能再次链接不能作为主库
sentinel down-after-milliseconds <master-name> <milliseconds>
down-after-milliseconds * 10

选举规则
1、配置权重：redis.conf中 slave-priority 权重 配置
2、1相同，进行offset匹配，使用最新接近的offset，offset可以通过info replication 看到，主库执行看到的是offset，从库执行看到的是 slave_repl_offset

127.0.0.1:6377> info replication
# Replication
role:slave
master_host:127.0.0.1
master_port:6379
master_link_status:up
master_last_io_seconds_ago:1
master_sync_in_progress:0
slave_repl_offset:8501
slave_priority:100
slave_read_only:1
connected_slaves:0
master_replid:32da60ea7925c076cd058b41768e7cac9a0cfdc5
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:8501
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:8501

3、ID 号小的从库得分高:run_id 使用info server获取

127.0.0.1:6377> info server
# Server
redis_version:6.0.8
redis_git_sha1:00000000
redis_git_dirty:0
redis_build_id:e03d903ddcb7b789
redis_mode:standalone
os:Linux 3.10.0-1160.24.1.el7.x86_64 x86_64
arch_bits:64
multiplexing_api:epoll
atomicvar_api:atomic-builtin
gcc_version:9.3.1
process_id:17897
run_id:dded9b69f5510f7cdd21b9b67f3c7ac46bd249bb
tcp_port:6377
uptime_in_seconds:23168
uptime_in_days:0
hz:10
configured_hz:10
lru_clock:10634004
executable:/root/redis-server
config_file:/etc/redis/redis6377.conf
io_threads_active:0

redis 分片hash槽量：16383，获取失败会返回move错误或ask错误

debug object key:查看key属性值

127.0.0.1:6379> debug object key1
Value at:0x7f4a16f59c00 refcount:1 encoding:embstr serializedlength:21 lru:10635395 lru_seconds_idle:16
127.0.0.1:6379> set key2 123456789012345678901234567890123456789012345
OK
127.0.0.1:6379> debug object key2
Value at:0x7f4a16e30c70 refcount:1 encoding:raw serializedlength:21 lru:10635430 lru_seconds_idle:6

bitmap操做：
setbit，getbit，bitcount，bittop，数据操做就是异或操做，没其他的，所有相关功能脱离不了这个范围

BITOP AND destkey key [key ...] ，对一个或多个 key 求逻辑并，并将结果保存到 destkey 。
BITOP OR destkey key [key ...] ，对一个或多个 key 求逻辑或，并将结果保存到 destkey 。
BITOP XOR destkey key [key ...] ，对一个或多个 key 求逻辑异或，并将结果保存到 destkey 。
BITOP NOT destkey key ，对给定 key 求逻辑非，并将结果保存到 destkey 

存储时刻变化的值，redis提供了redistimeseries.so扩展，存储温度等信息

redis消息队列使用streams【5.0版本开始提供】，不要使用list

brpop 带阻塞作用

清空数据库
FLUSHDB ASYNC
FLUSHALL AYSNC

如何确定redis变慢了
1、查看延迟：120s内最大延迟

[root@gzq ~]# redis-cli --intrinsic-latency 120

aof重写和fsync关联配置： no-appendfsync-on-rewrite yes
swap操做：内存操做需求大于实际操做会出现swap，redis看起来慢了
redis内存大页：客户端的写请求可能会修改正在进行持久化的数据。在这一过程中，Redis 就会采用写时复制机制，也就是说，一旦有数据要被修改，Redis 并不会直接修改内存中的数据，而是将这些数据拷贝一份，然后再进行修改。

查看内存大页
cat /sys/kernel/mm/transparent_hugepage/enabled
修改内存大页
echo never /sys/kernel/mm/transparent_hugepage/enabled

内存碎片查看

info memory
计算方式
mem_fragmentation_ratio = used_memory_rss/used_memory
大于1小于1.5正常，大于1.5需要回收

内存碎片配置自动清理

mem_fragmentation_ratio yes
active-defrag-ignore-bytes 100mb：表示内存碎片的字节数达到 100MB 时，开始清理；
active-defrag-threshold-lower 10：表示内存碎片空间占操作系统分配给 Redis 的总空间比例达到 10% 时，开始清理
active-defrag-cycle-min 25： 表示自动清理过程所用 CPU 时间的比例不低于 25%，保证清理能正常开展；
active-defrag-cycle-max 75：表示自动清理过程所用 CPU 时间的比例不高于 75%，一旦超过，就停止清理，从而避免在清理时，大量的内存拷贝阻塞 Redis，导致响应延迟升高。

查看缓存区占用
client list

关注addr、qbuf、qbuf-free
id=4 addr=127.0.0.1:45296 fd=8 name= age=599938 idle=0 flags=S db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=replconf user=default
id=5 addr=127.0.0.1:43421 fd=9 name= age=599937 idle=0 flags=S db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=replconf user=default
id=32 addr=127.0.0.1:58906 fd=10 name= age=517869 idle=2 flags=N db=1 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=get user=default
id=33 addr=127.0.0.1:58908 fd=11 name= age=517869 idle=2 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=eval user=default
id=39 addr=127.0.0.1:38304 fd=7 name= age=483 idle=0 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=26 qbuf-free=32742 obl=0 oll=0 omem=0 events=r cmd=client user=default

client-output-buffer-limit 设置缓存区
client-output-buffer-limit replica 256mb/*最大缓存区*/ 64mb 60 /*60s超过60M关闭连接*/

缓存淘汰策略

在设置了过期时间的数据中进行淘汰，包括 volatile-random、volatile-ttl、volatile-lru、volatile-lfu（Redis  4.0 后新增）四种。

在所有数据范围内进行淘汰，包括 allkeys-lru、allkeys-random、allkeys-lfu（Redis 4.0 后新增）三种


LRU和LFU是不同的!

LRU是最近最少使用页面置换算法(Least Recently Used),也就是首先淘汰最长时间未被使用的页面!

LFU是最近最不常用页面置换算法(Least Frequently Used),也就是淘汰一定时期内被访问次数最少的页!

比如,第二种方法的时期T为10分钟,如果每分钟进行一次调页,主存块为3,若所需页面走向为2 1 2 1 2 3 4

注意,当调页面4时会发生缺页中断

若按LRU算法,应换页面1(1页面最久未被使用) 但按LFU算法应换页面3(十分钟内,页面3只使用了一次)

可见LRU关键是看页面最后一次被使用到发生调度的时间长短,

而LFU关键是看一定时间段内页面被使用的频率!