Netty 源码解析 -- 内存对齐类 SizeClasses
在学习Netty内存池之前,我们先了解一下Netty的内存对齐类SizeClasses,它为Netty内存池中的内存块提供大小对齐,索引计算等服务方法。
源码分析基于Netty 4.1.52
Netty内存池中每个内存块size都符合如下计算公式
size = 1 << log2Group + nDelta * (1 << log2Delta)
log2Group:内存块分组
nDelta:增量乘数
log2Delta:增量大小的log2值
SizeClasses初始化后,将计算chunkSize(内存池每次向操作系统申请内存块大小)范围内每个size的值,保存到sizeClasses字段中。
sizeClasses是一个表格(二维数组),共有7列,含义如下
index:内存块size的索引
log2Group:内存块分组,用于计算对应的size
log2Delata:增量大小的log2值,用于计算对应的size
nDelta:增量乘数,用于计算对应的size
isMultipageSize:表示size是否为page的倍数
isSubPage:表示是否为一个subPage类型
log2DeltaLookup:如果size存在位图中的,记录其log2Delta,未使用
sizeClasses负责计算sizeClasses表格
LOG2_QUANTUM=4
LOG2SIZECLASS_GROUP=2
#1
log2Group,log2Delta都是从LOG2_QUANTUM开始
ndeltaLimit为2^LOG2SIZECLASS_GROUP,即内存块size以4个为一组进行分组
#2
初始化第0组
nDelta从0开始
sizeClass方法计算每个size大小
注意:第0组后log2Group增加LOG2SIZECLASS_GROUP,而log2Delta不变
#3
初始化后面的size
nDelta从1开始
每组log2Group+1,log2Delta+1
将log2Group=log2Delta+LOG2_SIZE_CLASS_GROUP
代入计算公式中,得到
size = 1 << (log2Delta+LOG2_SIZE_CLASS_GROUP) + nDelta * (1 << log2Delta)
size = (nDelta + 2 ^ LOG2_SIZE_CLASS_GROUP) * (1 << log2Delta)
可以看到,每个内存块size都是(1 << log2Delta)的倍数
从第二组开始,每组内这个倍数依次是5,6,7,8
每组内相邻行大小增量为(1 << log2Delta),相邻组之间(1 << log2Delta)翻倍。
Netty默认的配置一个page的大小是2^13,即为8KB,默认的一个chunk的大小为16777216,即16MB。sizeClasses表格内存如下:
Netty内存池中管理了大小不同的内存块,对于这些不同大小的内存块,Netty划分为不同的等级Small,Normal,Huge。Huge是大于chunkSize的内存块,不在表格中,这里也不讨论。
sizeClasses表格可以分为两部分
isSubPage为1的size为Small内存块,其他为Normal内存块。
分配Small内存块,需要找到对应的index
通过size2SizeIdx方法计算index
比如需要分配一个90字节的内存块,需要从sizeClasses表格找到第一个大于90的内存块size,即96,其index为5。
Normal内存块必须是page的倍数。
将isMultipageSize为1的行取出组成另一个表格
PoolChunk中分配Normal内存块需求查询对应的pageIdx。
比如要分配一个50000字节的内存块,需要从这个新表格找到第一个大于50000的内存块size,即57344,其pageIdx为6。
通过pages2pageIdxCompute方法计算pageIdx。
下面看一下具体的计算方法
#1
大于chunkSize,就是返回nSizes代表申请的是Huge内存块。
#2
不使用sizeClasses表格,将申请内存大小转换为directMemoryCacheAlignment的倍数,directMemoryCacheAlignment默认为0。
#3
SizeClasses将一部分较小的size与对应index记录在size2idxTab作为位图,这里直接查询size2idxTab,避免重复计算
size2idxTab中保存了(size-1)/(2^LOG2_QUANTUM) --> idx的对应关系。
#4
对申请内存大小进行log2的向上取整,就是每组最后一个内存块size。-1是为了避免申请内存大小刚好等于2的指数次幂时被翻倍。
将log2Group = log2Delta + LOG2_SIZE_CLASS_GROUP
,nDelta=2^LOG2_SIZE_CLASS_GROUP
代入计算公式,可得
lastSize = 1 << (log2Group + 1)
即x = log2Group + 1
#5
shift, 当前在第几组,从0开始(sizeClasses表格中0~3行为第0组,4~7行为第1组,以此类推,不是log2Group)
x < LOG2_SIZE_CLASS_GROUP + LOG2_QUANTUM + 1
,即log2Group < LOG2_SIZE_CLASS_GROUP + LOG2_QUANTUM
,满足该条件的是第0组的size,这时shift固定是0。
从sizeClasses方法可以看到,除了第0组,都满足shift = log2Group - LOG2_QUANTUM - (LOG2_SIZE_CLASS_GROUP - 1)
。
shift << LOG2_SIZE_CLASS_GROUP
就是该组第一个内存块size的索引
#6
计算log2Delta
第0组固定是LOG2_QUANTUM
除了第0组,将nDelta = 2^LOG2_SIZE_CLASS_GROUP
代入计算公式
lastSize = ( 2^LOG2_SIZE_CLASS_GROUP + 2^LOG2_SIZE_CLASS_GROUP ) * (1 << log2Delta)
lastSize = (1 << log2Delta) << LOG2_SIZE_CLASS_GROUP << 1
#7
前面已经定位到第几组了,下面要找到申请内存大小应分配在该组第几位
这里要找到比申请内存大的最小size。
申请内存大小可以理解为上一个size加上一个不大于(1 << log2Delta)的值,即
(nDelta - 1 + 2^LOG2_SIZE_CLASS_GROUP) * (1 << log2Delta) + n
, 备注:0 < n <= (1 << log2Delta)
nDelta - 1就是mod
& deltaInverseMask
,将申请内存大小最后log2Delta个bit位设置为0,可以理解为减去n
>> log2Delta
,右移log2Delta个bit位,就是除以(1 << log2Delta),结果就是(nDelta - 1 + 2 ^ LOG2SIZECLASS_GROUP)
& (1 << LOG2_SIZE_CLASS_GROUP) - 1
, 取最后的LOG2SIZECLASS_GROUP个bit位的值,结果就是mod
size - 1
,是为了申请内存等于内存块size时避免分配到下一个内存块size中,即n == (1 << log2Delta)的场景。
疑问:既然右移log2Delta个bit位,那为什么前面要将log2Delta个bit位设置为0?
第0组由于log2Group等于log2Delta,代入计算公式如下
1 << log2Delta + (nDelta - 1) * (1 << log2Delta) + n
, 备注:0 < n <= (1 << log2Delta)
nDelta * (1 << log2Delta) + n
所以第0组nDelta从0开始,mod = nDelta
pages2pageIdxCompute方法计算pageIdx逻辑与size2SizeIdx方法类似,只是将LOG2_QUANTUM变量换成了pageShifts,这里不再重复。
SizeClasses是给PoolArena(内存池),PoolChunk(内存块)提供服务的,建议大家结合后面分析PoolArena,PoolChunk的文章一起理解。
如果大家对SizeClasses具体算法不感兴趣,只有理解SizeClasses类中利用sizeClasses表格,为PoolArena,PoolChunk提供计算index,pageIdx索引的方法,也可以帮助大家理解后面解析PoolArena,PoolChunk的文章。
下面贴出sizeClasses完整表格(可复制到Excle,以|分列)
如果您觉得本文不错,欢迎关注我的微信公众号,系列文章持续更新中。您的关注是我坚持的动力!
版权声明: 本文为 InfoQ 作者【binecy】的原创文章。
原文链接:【http://xie.infoq.cn/article/237a97c55aec6731e295be467】。文章转载请联系作者。
评论