redis rehash
分多次、渐进式 rehash
服务器将ht[0]的数据rehash到ht[1]中,如果数据量特别大时,如果一次性将键值对全部rehash到ht[1]的话,庞大的计算量可能导致服务器在一段时间内停止服务。
为了避免 rehash 对服务器性能造成影响, 服务器不是一次性将 ht[0]
里面的所有键值对全部 rehash 到 ht[1]
, 而是分多次、渐进式地将 ht[0]
里面的键值对慢慢地 rehash 到 ht[1]
。
采用分而治之的思想,将庞大的迁移工作量划分到每一次CURD中,避免了服务繁忙。
哈希表渐进式 rehash 的详细步骤:
- 为
ht[1]
分配空间, 让字典同时持有ht[0]
和ht[1]
两个哈希表。 - 在字典中维持一个索引计数器变量
rehashidx
, 并将它的值设置为0
, 表示 rehash 工作正式开始。 - 在 rehash 进行期间, 每次对字典执行添加、删除、查找或者更新 CURD操作时, 程序除了执行指定的操作以外, 还会顺带将
ht[0]
哈希表在rehashidx
索引上的所有键值对 rehash 到ht[1]
, 当 rehash 工作完成之后, 程序将rehashidx
属性的值增一。 - 随着字典操作的不断执行, 最终在某个时间点上,
ht[0]
的所有键值对都会被 rehash 至ht[1]
, 这时程序将rehashidx
属性的值设为-1
, 表示 rehash 操作已完成。
rehash 过程中的更新操作,处理方法和查找操作类似:
1. 程序首先查找 ht[0] ,看要 update 的键是否存在,如果是的话,更新它。
2. 程序首先查找 ht[1] ,看要 update 的键是否存在,如果是的话,更新它。
如果 ht[0] 和 ht[1] 都没有找到指定的键,并且这是一个类似 HSET 这样的命令(键存在它就是更新操作,键不存在就是插入操作),那么这次更新将变成一次插入操作,这时就会出现情况 3 :
3. 在 rehash 过程中,所有新键值对都会被插入到 ht[1] ,所以这次的新键值对也会被插入到 ht[1] 。
在渐进式 rehash 执行期间, 新添加到字典的键值对一律会被保存到 ht[1]
里面, 而 ht[0]
则不再进行任何添加操作: 这一措施保证了 ht[0]
包含的键值对数量会只减不增, 并随着 rehash 操作的执行而最终变成空表。