redis 中的数据类型

头像
哈基石
    阅读 9 分钟

    redis 的数据结构包括 字符串(String)、列表(List)、散列(Hash)、集合(Set)、有序集合(Sorted Set)，以及他们的特点和运用场景

    string

    动态字符串SDS
    Redis 是一个开源的使用ANSI C语言编写的key-value 数据库，我们可能会较为主观的认为 Redis 中的字符串就是采用了C语言中的传统字符串表示，但其实不然，Redis 没有直接使用C语言传统的字符串表示，而是自己构建了一种名为简单动态字符串（simple dynamic string SDS）的抽象类型，并将SDS用作Redis 的默认字符串表示， 在Redis中，包含字符串值的键值对底层都是用SDS实现的

    redis 中定义 动态字符串的结构

    struct sdshdr {  
      
    // buf 中已占用空间的长度  
    int len;  
  
    // buf 中剩余可用空间的长度  
    int free;  
  
    // 数据空间  
    char buf[];  
};

    1、len 变量，用于记录buf 中已经使用的空间长度（这里指出Redis 的长度为5）
    2、free 变量，用于记录buf 中还空余的空间（初次分配空间，一般没有空余，在对字符串修改的时候，会有剩余空间出现）
    3、buf 字符数组，用于记录我们的字符串（记录Redis）

    C 的字符串与 SDS 字符串的区别
    image.png

    sds 参考链接：https://www.cnblogs.com/jayce...

    初始化字符串 需要提供「变量名称」和「变量的内容」

    > set ireader beijing.zhangyue.keji.gufen.youxian.gongsi
OK
复制代码

    获取字符串的内容 提供「变量名称」

    > get ireader
"beijing.zhangyue.keji.gufen.youxian.gongsi"
复制代码

    获取字符串的长度 提供「变量名称」

    > strlen ireader
(integer) 42
复制代码

    获取子串 提供「变量名称」以及开始和结束位置[start, end]

    > getrange ireader 28 34
"youxian"
复制代码

    覆盖子串 提供「变量名称」以及开始位置和目标子串

    > setrange ireader 28 wooxian
(integer) 42  # 返回长度
> get ireader
"beijing.zhangyue.keji.gufen.wooxian.gongsi"
复制代码

    追加子串

    > append ireader .hao
(integer) 46 # 返回长度
> get ireader
"beijing.zhangyue.keji.gufen.wooxian.gongsi.hao"
复制代码

    遗憾的是字符串没有提供字串插入方法和子串删除方法。

    计数器 如果字符串的内容是一个整数，那么还可以将字符串当成计数器来使用。

    > set ireader 42
OK
> get ireader
"42"
> incrby ireader 100
(integer) 142
> get ireader
"142"
> decrby ireader 100
(integer) 42
> get ireader
"42"
> incr ireader  # 等价于incrby ireader 1
(integer) 43
> decr ireader  # 等价于decrby ireader 1
(integer) 42
复制代码

    计数器是有范围的，它不能超过Long.Max，不能低于Long.MIN

    > set ireader 9223372036854775807
OK
> incr ireader
(error) ERR increment or decrement would overflow
> set ireader -9223372036854775808
OK
> decr ireader
(error) ERR increment or decrement would overflow
复制代码

    过期和删除 字符串可以使用del指令进行主动删除，可以使用expire指令设置过期时间，到点会自动删除，这属于被动删除。可以使用ttl指令获取字符串的寿命。

    > expire ireader 60
(integer) 1  # 1表示设置成功，0表示变量ireader不存在
> ttl ireader
(integer) 50  # 还有50秒的寿命，返回-2表示变量不存在，-1表示没有设置过期时间
> del ireader
(integer) 1  # 删除成功返回1
> get ireader
(nil)  # 变量ireader没有了

    应用场景

    1. 存储字符串，处理字符串，存储 MySQL字段中 中的某个值
    2. 存储对象，存储 json 对象。（这种情况下推荐 hash 数据类型）
    3. 当 redis 的 string 类型的值为整数形式时，redis 可以把它当做是整数一样进行自增（incr）自减（decr）操作。由于 redis 所有的操作都是原子性的，所以不必担心多客户端连接时可能出现的事务问题。
      • *

    list

    列表这种数据类型支持存储一组数据。这种数据类型对应两种实现方法，一种是压缩列表（ziplist），另一种是双向循环链表。

    压缩列表
    列表中保存的单个数据（有可能是字符串类型的）小于 64 字节，列表中数据个数少于 512 个。
    压缩列表这种存储结构，一方面比较节省内存，另一方面可以支持不同类型数据的存储。而且，因为数据存储在一片连续的内存空间，通过键来获取值为列表类型的数据，读取的效率也非常高。

    更多 ziplist 参见：https://blog.csdn.net/xiejing...

    双向链表
    当列表中存储的数据量比较大的时候，列表就要通过双向循环链表来实现了。

    // 以下是C语言代码，因为Redis是用C语言实现的。
typedef struct listnode {
  struct listNode *prev;
  struct listNode *next;
  void *value;
} listNode;


typedef struct list {
  listNode *head;
  listNode *tail;
  unsigned long len;
  // ....省略其他定义
} list;

    负下标 链表元素的位置使用自然数0,1,2,....n-1表示，还可以使用负数-1,-2,...-n来表示，-1表示「倒数第一」，-2表示「倒数第二」，那么-n就表示第一个元素，对应的下标为0。

    链表的特性

    • 双端链表：带有指向前置节点和后置节点的指针，获取这两个节点的复杂度为O(1)
    • 无环：表头节点的prev和表尾节点的next都指向NULL，对链表的访问以NULL结束
    • 链表长度计数器：带有len属性，获取链表长度的复杂度为O(1)
    • 多态：链表节点使用 void*指针保存节点值，可以保存不同类型的值

    应用场景

    1. 栈、单调栈
    2. 队列、消息队列
    3. 聊天室读取消息与发送消息

    hash

    字典类型也有两种实现方式。压缩列表，另一种是散列表。
    clipboard.png

    压缩列表
    字典中保存的键和值的大小都要小于 64 字节；字典中键值对的个数要小于 512 个。

    散列表
    Redis 使用MurmurHash2这种运行速度快、随机性好的哈希算法作为哈希函数。对于哈希冲突问题，Redis 使用链表法来解决。除此之外，Redis 还支持散列表的动态扩容、缩容。

    当数据动态增加之后，散列表的装载因子会不停地变大。为了避免散列表性能的下降，当装载因子大于 1 的时候，Redis 会触发扩容，将散列表扩大为原来大小的 2 倍左右，redis使用渐进式扩容缩容策略，将数据的搬移分批进行，避免了大量数据一次性搬移导致的服务停顿。

    当数据动态减少之后，为了节省内存，当装载因子小于 0.1 的时候，Redis 就会触发缩容，缩小为字典中数据个数的大约 2 倍大小

    哈希冲突
    key是我们的键；v是键值，可以是一个指针，也可以是整数或浮点数；next属性是指向下一个哈希表节点的指针，可以让多个哈希值相同的键值对形成链表，解决键冲突问题

    应用场景

    1. 由于hash数据类型的key-value的特性，用来存储关系型数据库中表记录，是redis中哈希类型最常用的场景。一条记录作为一个key-value，把每列属性值对应成field-value存储在哈希表当中，然后通过key值来区分表当中的主键。
    2. 经常被用来存储用户相关信息。优化用户信息的获取，不需要重复从数据库当中读取，提高系统性能。
    3. hash 类型十分适合存储对象类数据，相对于在 string 中介绍的把对象转化为 json 字符串存储，hash 的结构可以任意添加或删除‘字段名’，更加高效灵活。

    set

    集合这种数据类型用来存储一组不重复的数据，有两种实现方法。

    一种是有序数组
    存储的数据都是整数，存储的数据元素个数不超过 512 个，就会使用有序数组。

    另一种是散列表
    如果不是有序数组的限制，Redis 就使用散列表来存储集合中的数据。
    clipboard.png

    集合中最大的成员数为 2(32次方)- 1 (4294967295, 每个集合可存储40多亿个成员)。如果 key 已经持有其他值，就覆写旧值，无视类型。

    Java程序员都知道HashSet的内部实现使用的是HashMap，只不过所有的value都指向同一个对象。Redis的set结构也是一样，它的内部也使用hash结构，所有的value都指向同一个内部值。

    增加元素 可以一次增加多个元素

    > sadd ireader go java python
(integer) 3
复制代码

    读取元素 使用smembers列出所有元素，使用scard获取集合长度，使用srandmember获取随机count个元素，如果不提供count参数，默认为1

    > sadd ireader go java python
(integer) 3
> smembers ireader
1) "java"
2) "python"
3) "go"
> scard ireader
(integer) 3
> srandmember ireader
"java"
复制代码

    删除元素 使用srem删除一到多个元素，使用spop删除随机一个元素

    > sadd ireader go java python rust erlang
(integer) 5
> srem ireader go java
(integer) 2
> spop ireader
"erlang"
复制代码

    判断元素是否存在 使用sismember指令，只能接收单个元素

    > sadd ireader go java python rust erlang
(integer) 5
> sismember ireader rust
(integer) 1
> sismember ireader javascript
(integer) 0

    应用场景
    交集，并集，差集
    当你需要存储一个列表数据，又不希望出现重复数据时，set是一个很好的选择，并且set提供了判断某个成员是否在一个set集合内的重要接口，这个也是list所不能提供的。

    在微博中，可以将一个用户所有的关注人存在一个集合中，将其所有粉丝存在一个集合。Redis还为集合提供了求交集、并集、差集等操作，可以非常方便的实现如共同关注、共同喜好、二度好友等功能，对上面的所有集合操作，你还可以使用不同的命令选择将结果返回给客户端还是存集到一个新的集合中。

    sortedset

    当数据量比较小的时候，Redis 会用压缩列表来实现有序集合。具体点说就是，使用压缩列表来实现有序集合的前提，有这样两个：所有数据的大小都要小于 64 字节；元素个数要小于 128 个。

    跳表
    Redis 中的有序集合是通过跳表来实现的，严格点讲，其实还用到了散列表

    a861445d0b53fc842f38919365b004a7.jpg

    其中，插入、删除、查找以及迭代输出有序序列这几个操作，红黑树也可以完成，时间复杂度跟跳表是一样的。但是，按照区间来查找数据这个操作，红黑树的效率没有跳表高。对于按照区间查找数据这个操作，跳表可以做到 O(logn) 的时间复杂度定位区间的起点，然后在原始链表中顺序往后遍历就可以了。这样做非常高效。当然，Redis 之所以用跳表来实现有序集合，还有其他原因，比如，跳表更容易代码实现。虽然跳表的实现也不简单，但比起红黑树来说还是好懂、好写多了，而简单就意味着可读性好，不容易出错。还有，跳表更加灵活，它可以通过改变索引构建策略，有效平衡执行效率和内存消耗。不过，跳表也不能完全替代红黑树。因为红黑树比跳表的出现要早一些，很多编程语言中的 Map 类型都是通过红黑树来实现的。

    应用场景
    在集合类型的场景上加入排序就是有序集合的应用场景了。比如根据好友的“亲密度”排序显示好友列表。

    redis 127.0.0.1:6379> zadd runoob 0 redis
(integer) 1 redis 127.0.0.1:6379> zadd runoob 0 mongodb
(integer) 1 redis 127.0.0.1:6379> zadd runoob 0 rabitmq
(integer) 1 redis 127.0.0.1:6379> zadd runoob 0 rabitmq
(integer) 0 redis 127.0.0.1:6379> > ZRANGEBYSCORE runoob 0 1000
1) "mongodb"
2) "rabitmq"
3) "redis"

    各种数据类型的应用场景

    image.png

    Redis在很多方面与其他数据库解决方案不同：它使用内存提供主存储支持，而仅使用硬盘做持久性的存储；它的数据模型非常独特，用的是单线程。另一个大区别在于，你可以在开发环境中使用Redis的功能，但却不需要转到Redis。

    转向Redis当然也是可取的，许多开发者从一开始就把Redis作为首选数据库；但设想如果你的开发环境已经搭建好，应用已经在上面运行了，那么更换数据库框架显然不那么容易。另外在一些需要大容量数据集的应用，Redis也并不适合，因为它的数据集不会超过系统可用的内存。所以如果你有大数据应用，而且主要是读取访问模式，那么Redis并不是正确的选择。

    然而我喜欢Redis的一点就是你可以把它融入到你的系统中来，这就能够解决很多问题，比如那些你现有的数据库处理起来感到缓慢的任务。这些你就可以通过Redis来进行优化，或者为应用创建些新的功能。在本文中，我就想探讨一些怎样将Redis加入到现有的环境中，并利用它的原语命令等功能来解决 传统环境中碰到的一些常见问题。在这些例子中，Redis都不是作为首选数据库。

    1、显示最新的项目列表 下面这个语句常用来显示最新项目，随着数据多了，查询毫无疑问会越来越慢。

    SELECT * FROM foo WHERE ... ORDER BY time DESC LIMIT 10

    在微博应用中，“列出最新的回复”之类的查询非常普遍，这通常会带来可扩展性问题。这令人沮丧，因为项目本来就是按这个顺序被创建的，但要输出这个顺序却不得不进行排序操作。

    类似的问题就可以用Redis来解决。比如说，我们的一个微博应用想要列出用户贴出的最新20条评论。在最新的评论边上我们有一个“显示全部”的链接，点击后就可以获得更多的评论。

    我们假设数据库中的每条评论都有一个唯一的递增的ID字段。我们可以使用分页来制作主页和评论页，使用Redis的模板，每次新评论发表时，我们会将它的ID添加到一个Redis列表：

    LPUSH latest.comments <ID>

    我们将列表裁剪为指定长度，因此Redis只需要保存最新的5000条评论：

    LTRIM latest.comments 0 5000

    每次我们需要获取最新评论的项目范围时，我们调用一个函数来完成（使用伪代码）：

    FUNCTION get_latest_comments(start, num_items):  
    id_list = redis.lrange("latest.comments",start,start+num_items - 1)  
    IF id_list.length < num_items  
        id_list = SQL_DB("SELECT ... ORDER BY time LIMIT ...")  
    END  
    RETURN id_list  
END
复制代码

    这里我们做的很简单。在Redis中我们的最新ID使用了常驻缓存，这是一直更新的。但是我们做了限制不能超过5000个ID，因此我们的获取ID函数会一直询问Redis。只有在start/count参数超出了这个范围的时候，才需要去访问数据库。我们的系统不会像传统方式那样“刷新”缓存，Redis实例中的信息永远是一致的。SQL数据库（或是硬盘上的其他类型数据库）只是在用户需要获取“很远”的数据时才会被触发，而主页或第一个评论页是不会麻烦到硬盘上的数据库了。

    2、删除与过滤

    我们可以使用LREM来删除评论。如果删除操作非常少，另一个选择是直接跳过评论条目的入口，报告说该评论已经不存在。

    redis 127.0.0.1:6379> LREM KEY_NAME COUNT VALUE

    有些时候你想要给不同的列表附加上不同的过滤器。如果过滤器的数量受到限制，你可以简单的为每个不同的过滤器使用不同的Redis列表。毕竟每个列表只有5000条项目，但Redis却能够使用非常少的内存来处理几百万条项目。

    3、排行榜相关

    另一个很普遍的需求是各种数据库的数据并非存储在内存中，因此在按得分排序以及实时更新这些几乎每秒钟都需要更新的功能上数据库的性能不够理想。 典型的比如那些在线游戏的排行榜，比如一个Facebook的游戏，根据得分你通常想要：

    • 列出前100名高分选手
    • 列出某用户当前的全球排名

    这些操作对于Redis来说小菜一碟，即使你有几百万个用户，每分钟都会有几百万个新的得分。 模式是这样的，每次获得新得分时，我们用这样的代码：

    ZADD leaderboard <score> <username> 你可能用userID来取代username，这取决于你是怎么设计的。 得到前100名高分用户很简单：ZREVRANGE leaderboard 0 99。 用户的全球排名也相似，只需要：ZRANK leaderboard 。

    4、按照用户投票和时间排序

    排行榜的一种常见变体模式就像Reddit或Hacker News用的那样，新闻按照类似下面的公式根据得分来排序：

    score = points / time^alpha

    因此用户的投票会相应的把新闻挖出来，但时间会按照一定的指数将新闻埋下去。下面是我们的模式，当然算法由你决定。

    模式是这样的，开始时先观察那些可能是最新的项目，例如首页上的1000条新闻都是候选者，因此我们先忽视掉其他的，这实现起来很简单。

    每次新的新闻贴上来后，我们将ID添加到列表中，使用LPUSH + LTRIM，确保只取出最新的1000条项目。

    有一项后台任务获取这个列表，并且持续的计算这1000条新闻中每条新闻的最终得分。计算结果由ZADD命令按照新的顺序填充生成列表，老新闻则被清除。这里的关键思路是排序工作是由后台任务来完成的。

    5、处理过期项目

    另一种常用的项目排序是按照时间排序。我们使用unix时间作为得分即可。 模式如下：

    • 每次有新项目添加到我们的非Redis数据库时，我们把它加入到排序集合中。这时我们用的是时间属性，current_time和time_to_live。
    • 另一项后台任务使用ZRANGE…SCORES查询排序集合，取出最新的10个项目。如果发现unix时间已经过期，则在数据库中删除条目。

    6、计数

    Redis是一个很好的计数器，这要感谢INCRBY和其他相似命令。 我相信你曾许多次想要给数据库加上新的计数器，用来获取统计或显示新信息，但是最后却由于写入敏感而不得不放弃它们。 现在使用Redis就不需要再担心了。有了原子递增（atomic increment），你可以放心的加上各种计数，用GETSET重置，或者是让它们过期。 例如这样操作：

    INCR user:<id> EXPIRE 
user:<id> 60
复制代码

    你可以计算出最近用户在页面间停顿不超过60秒的页面浏览量，当计数达到比如20时，就可以显示出某些条幅提示，或是其它你想显示的东西。

    7、特定时间内的特定项目

    另一项对于其他数据库很难，但Redis做起来却轻而易举的事就是统计在某段特点时间里有多少特定用户访问了某个特定资源。比如我想要知道某些特定的注册用户或IP地址，他们到底有多少访问了某篇文章。 每次我获得一次新的页面浏览时我只需要这样做：

    SADD page:day1:<page_id> <user_id>

    当然你可能想用unix时间替换day1，比如time()-(time()%3600*24)等等。 想知道特定用户的数量吗？只需要使用 SCARD page:day1:<page_id>

    需要测试某个特定用户是否访问了这个页面？

    SISMEMBER page:day1:<page_id>

    8、实时分析正在发生的情况，用于数据统计与防止垃圾邮件等

    我们只做了几个例子，但如果你研究Redis的命令集，并且组合一下，就能获得大量的实时分析方法，有效而且非常省力。使用Redis原语命令，更容易实施垃圾邮件过滤系统或其他实时跟踪系统。

    9、Pub/Sub

    Redis的Pub/Sub非常非常简单，运行稳定并且快速。支持模式匹配，能够实时订阅与取消频道。

    10、队列

    你应该已经注意到像list push和list pop这样的Redis命令能够很方便的执行队列操作了，但能做的可不止这些：比如Redis还有list pop的变体命令，能够在列表为空时阻塞队列。

    现代的互联网应用大量地使用了消息队列（Messaging）。消息队列不仅被用于系统内部组件之间的通信，同时也被用于系统跟其它服务之间的交互。消息队列的使用可以增加系统的可扩展性、灵活性和用户体验。非基于消息队列的系统，其运行速度取决于系统中最慢的组件的速度（注：短板效应）。而基于消息队列可以将系统中各组件解除耦合，这样系统就不再受最慢组件的束缚，各组件可以异步运行从而得以更快的速度完成各自的工作。

    此外，当服务器处在高并发操作的时候，比如频繁地写入日志文件。可以利用消息队列实现异步处理。从而实现高性能的并发操作。

    11、缓存

    Redis的缓存部分值得写一篇新文章，我这里只是简单的说一下。Redis能够替代memcached，让你的缓存从只能存储数据变得能够更新数据，因此你不再需要每次都重新生成数据了。

    参考链接

    https://juejin.im/post/5d8882...
    https://segmentfault.com/a/11...
    https://time.geekbang.org/col...
    https://i6448038.github.io/20...
    https://throwsnew.com/2017/09...
    https://blog.csdn.net/xiejing...
    https://www.cnblogs.com/jayce...

    redis
    哈基石
    88 声望3 粉丝
    « 上一篇
    MySQL JOIN UNION
    下一篇 »
    缓存穿透，缓存击穿，缓存雪崩

    引用和评论

    推荐阅读
    头像
    三十分钟入门 lua

    哈基石赞 3阅读 5.7k评论 1

    头像
    JWT:速成框架搭配与入门

    小全栈工程师小鹿阅读 846

    头像
    30w+数据使用RedisTemplate的pipeline空指针NullPointerException异常分析

    我不是码农阅读 788

    头像
    得物自建 Redis 无人值守资源均衡调度设计与实现

    得物技术赞 1阅读 178评论 1

    头像
    使用 redis rebloom redisbloom 做布隆过滤器的注意事项——潜在的 OOM 评估

    universe_king阅读 607

    头像
    阿里面试让聊一聊Redis 的内存淘汰（驱逐）策略

    威哥爱编程赞 1阅读 173

    头像
    grub内核启动参数(kernel command-line parameters)

    蓝易云阅读 470

    0 条评论
    得票最新