写点什么

学习下 Redis 内存模型

  • 2022-12-27
    北京
  • 本文字数:2568 字

    阅读完需:约 8 分钟

学习下Redis内存模型

作者:京东零售 吴佳

前言

redis,对于一个 java 开发工程师来讲,其实算不得什么复杂新奇的技术,但可能也很少人去深入了解学习它的底层的一些东西。下面将通过对内存统计、内存划分、存储细节、对象类型 &内部编码这四个模块来学习学习 redis 的内存模型,手字笔录,潜心修行。

一、redis 的内存统计

info memory 命令查看内存使用情况:服务器基本信息、CPU、内存、持久化、客户端连接信息等等,如下图:


(1)used_memory 和 used_memory_rss

used_memory:Redis 分配器分配的内存总量 + 虚拟内存(磁盘)


used_memory_rss:Redis 进程占据操作系统的内存 + 进程运行本身需要的内存 + 内存碎片等 (*:注意 used_memory_rss 不包括虚拟内存)


两者区别:


①面向角度:used_memory: Redis 角度 used_memory_rss:操作系统角度


②大小不一定是后者大于前者:内存碎片和 Redis 进程运行需要占用内存,使得前者可能比后者小,另一方面虚拟内存的存在,使得前者可能比后者大

(2)mem_fragmentation_ratio

内存碎片比率, 等于 used_memory_rss / used_memory


mem_fragmentation_ratio > 1 : 值越大,内存碎片比例越大


mem_fragmentation_ratio < 1 : 说明 Redis 使用了虚拟内存


*:由于虚拟内存的媒介是磁盘,比内存速度要慢很多,当这种情况出现时,应该及时排查,如果内存不足应该及时处理,如增加 Redis 节点、增加 Redis 服务器的内存、优化应用等。


正常情况下:mem_fragmentation_ratio = 1.03 左右 (健康:对于 jemalloc 来说)


上面的情况:没有向 Redis 中存入数据,Redis 进程本身运行的内存使得 used_memory_rss 比 used_memory 大得多

(3)mem_allocator:

Redis 使用的内存分配器,在编译时指定,可以是 libc 、jemalloc 或者 tcmalloc,默认是 jemalloc。

(4)used_memory_peak:

Redis 的内存消耗峰值

(5)used_memory_human 和 used_memory_peak_human:

字面含义,以人类阅读的方式返回。

二、redis 的内存划分

数据:最主要的部分,会统计在 used_memory。实际上,在 Redis 内部,每种类型可能有 2 种或更多的内部编码实现。此外,Redis 在存储对象时,并不是直接将数据扔进内存,而是会对对象进行各种包装:如 RedisObject、SDS 等。


进程本身内存:Redis 主进程本身运行肯定需要占用内存,如代码、常量池等等。这部分内存大约几兆,在大多数生产环境中与 Redis 数据占用的内存相比可以忽略。这部分内存不是由 jemalloc 分配,因此不会统计在 used_memory 中。


缓冲内存:包含客户端缓冲区、复制积压缓冲区、AOF 缓冲区


客户端缓冲区:存储客户端连接的输入输出缓冲


复制积压缓冲区:用于部分复制功能


AOF 缓冲区:用于在进行 AOF 重写时,保存最近的写入命令


内存碎片:内存碎片是 Redis 在分配、回收物理内存过程中产生的。

三、redis 的数据存储细节

当我们执行一个 redis 指令,比如:set hello world,redis 底层存储到底干了什么?


上面就涉及到两个概念:jemalloc 和 RedisObject

(1)jemalloc

内存分配器:可以是 libc 、jemalloc 或者 tcmalloc,默认 jemalloc


jemalloc 内存划分:小、大、巨大,每个又分许多小内存块单位



(例如,如果需要存储大小为 130 字节的对象,jemalloc 会将其放入 160 字节的内存单元中。)

(2)RedisObject(核心数据结构)

redis 的五种类型都是通过 RedisObject 存储,Redis 对象的 类型、内部编码、内存回收、共享对象等功能都需要 RedisObject 对象支持。


typedef struct redisObject{    unsigned type:4;    unsigned encoding:4;    unsigned lru:REDIS_LRU_BITS; /* lru time (relative to server.lruclock) */           int refcount;    void *ptr;}
复制代码


type:表示对象的数据类型,占 4bit。


encoding:表示对象内部的编码,占 4bit,对于 redis 的每种数据类型,都至少有俩


种内部编码。比如字符串类型有:int、embstr、raw。


lru:记录的是对象最后一次被命令程序访问的时间,占据的比特数不同的版本有所不同(如 4.0 版本占 24 比特,2.6 版本占 22 比特)。


refcount:


1、概念:refcount 记录的是该对象被引用的次数,类型目前仅为整型。


2、作用:refcount 的作用,主要在于对象的引用计数和内存回收:


①当创建新对象时,refcount 初始化为 1;


②当有新程序使用该对象时,refcount 加 1;


③当对象不再被一个新程序使用时,refcount 减 1;


④当 refcount 变为 0 时,对象占用的内存会被释放。


3、为什么只支持整数值的字符串对象?对内存和 CPU(时间)的平衡:


①对于整数值,判断操作复杂度为 O(1);


②对于普通字符串,判断复杂度为 O(n);


③而对于哈希、列表、集合和有序集合,判断的复杂度为 O(n^2)。


4、目前实现:Redis 服务器在初始化时,会创建 10000 个字符串对象,值分别是 0~9999 的整数值;10000 这个数字可以通过调整参数 REDIS_SHARED_INTEGERS(4.0 中是 OBJ_SHARED_INTEGERS)的值进行改变。(共享对象的引用次数可以通过 object refcount 命令查看:)


ptr:ptr 指针指向具体的数据,如前面的例子中,set hello world,ptr 指向包含字符串 world 的 SDS

(3)SDS

1、概念:Redis 没有直接使用 C 字符串(即以空字符‘\0’结尾的字符数组)作为默认的字符串表示,而是使用了 SDS。SDS 是简单动态字符串(Simple Dynamic String)的缩写。


2、结构:



3、相关计算:


*:buf 数组的长度 = free+len+1(其中 1 表示字符串结尾的空字符)


一个 SDS 结构占据的空间 = free 所占长度+len 所占长度+ buf 数组的长度=4+4+free+len+1=free+len+9。


4、加“\0”目的:为了简单字符串能够调用 c 字符串部分函数

四、redis 的对象类型 &内部编码

(1)字符串

1、字符串长度不超过 512MB


2、内部编码有三种: int、embstr、raw


3、编码转换关系:


int:整形


embstr:<=39 字节的字符串


raw:>39 字节的字符串


4、embstr 和 raw 的区别:


①embstr 都使用 redisObject 和 sds 结构存储


②emstr 创建只分配一次内存空间(redisObject 和 sds 一起分配,因为它是连续的)


缺点:创建和删除都需要整个 redisObject 和 sds 重新分配空间,所以 emstr 实现为只读。


③raw 需要分配两次


5、当 emstr 被修改时,会先变成 raw,再修改,无论是否达到 39 字节


这也是为了避免创建整个 redisObject 和 sds



(2)列表

1、内部编码:ziplist 和 linkedlist:(每个节点指向的是 redisObject)


2、压缩列表:节约空间,连续内存块


3、编码转换:什么情况下使用压缩列表?


①列表元素 < 512 个


②列表中所有字符串对象都不足 64 字节(字符串长度)



(3)hash: 内层哈希和外层哈希

内层哈希:ziplist、hashtable


外层哈希:hashtable




发布于: 刚刚阅读数: 2
用户头像

拥抱技术,与开发者携手创造未来! 2018-11-20 加入

我们将持续为人工智能、大数据、云计算、物联网等相关领域的开发者,提供技术干货、行业技术内容、技术落地实践等文章内容。京东云开发者社区官方网站【https://developer.jdcloud.com/】,欢迎大家来玩

评论

发布
暂无评论
学习下Redis内存模型_Java_京东科技开发者_InfoQ写作社区