redis rehash

分多次、渐进式 rehash

redis rehash

redis rehash

redis rehash

服务器将ht[0]的数据rehash到ht[1]中,如果数据量特别大时,如果一次性将键值对全部rehash到ht[1]的话,庞大的计算量可能导致服务器在一段时间内停止服务。

为了避免 rehash 对服务器性能造成影响, 服务器不是一次性将 ht[0] 里面的所有键值对全部 rehash 到 ht[1] , 而是分多次、渐进式地将 ht[0] 里面的键值对慢慢地 rehash 到 ht[1] 。

采用分而治之的思想,将庞大的迁移工作量划分到每一次CURD中,避免了服务繁忙。

 

哈希表渐进式 rehash 的详细步骤:

  1. 为 ht[1] 分配空间, 让字典同时持有 ht[0] 和 ht[1] 两个哈希表。
  2. 在字典中维持一个索引计数器变量 rehashidx , 并将它的值设置为 0 , 表示 rehash 工作正式开始
  3. 在 rehash 进行期间, 每次对字典执行添加、删除、查找或者更新 CURD操作时, 程序除了执行指定的操作以外, 还会顺带将 ht[0] 哈希表在 rehashidx 索引上的所有键值对 rehash 到 ht[1] , 当 rehash 工作完成之后, 程序将 rehashidx 属性的值增一
  4. 随着字典操作的不断执行, 最终在某个时间点上, ht[0] 的所有键值对都会被 rehash 至 ht[1] , 这时程序将 rehashidx 属性的值设为 -1 , 表示 rehash 操作已完成

 

rehash 过程中的更新操作,处理方法和查找操作类似:

1. 程序首先查找 ht[0] ,看要 update 的键是否存在,如果是的话,更新它。
2. 程序首先查找 ht[1] ,看要 update 的键是否存在,如果是的话,更新它。

如果 ht[0] 和 ht[1] 都没有找到指定的键,并且这是一个类似 HSET 这样的命令(键存在它就是更新操作,键不存在就是插入操作),那么这次更新将变成一次插入操作,这时就会出现情况 3 :

3. 在 rehash 过程中,所有新键值对都会被插入到 ht[1] ,所以这次的新键值对也会被插入到 ht[1] 。

 

在渐进式 rehash 执行期间, 新添加到字典的键值对一律会被保存到 ht[1] 里面, 而 ht[0] 则不再进行任何添加操作: 这一措施保证了 ht[0] 包含的键值对数量会只减不增, 并随着 rehash 操作的执行而最终变成空表。