如何避免缓存雪崩、缓存击穿、缓存穿透
如何避免缓存雪崩、缓存击穿、缓存穿透
记录这个主要是自己缓存击穿和缓存穿透这两个概念容易混淆。
首先了解一下什么是缓存雪崩、缓存击穿、缓存穿透。
缓存雪崩
概念
缓存雪崩:是指缓存层出现了错误,不能正常工作了。于是所有的请求都会达到存储层,存储层的调用量会暴增,造成存储层也会挂掉的情况。
解决方案
-
随机key过期时间,避免数据同时过期
-
请求数据库时加锁,只允许一条请求访问数据库,请求成功后放在缓存服务器,其他请求走缓存
-
搭建高可用集群,避免redis被海量请求拖宕机
缓存击穿
概念
缓存击穿:是指一个key非常热点,在不停的扛着大并发,大并发集中对这一个点进行访问,当这个key在失效的瞬间,持续的大并发就穿破缓存,直接请求数据库,同样造成存储层也会挂掉的情况。
解决方案
-
设置热点数据永不过期
-
请求数据库时加锁,只允许一条请求访问数据库,请求成功后放在缓存服务器,其他请求走缓存
缓存穿透
概念
缓存穿透:用户(也可能是恶意请求)想要查询一个数据,发现redis内存数据库没有,也就是缓存没有命中,于是向持久层数据库查询。发现也没有,于是本次查询失败。当用户很多的时候,缓存都没有命中,于是都去请求了持久层数据库,同样造成存储层也会挂掉的情况。
解决方案
-
布隆过滤器
-
缓存空数据并设置过期时间,数据库没查到的数据默认填充一个值代表不存在
此方案有两个问题:
-
缓存需要占用更多的空间来存放空数据
-
如果此时数据库插入了一条数据,这个数据的key已经被缓存标记为空数据,那么在这条缓存数据过期时间内都是请求不到这条数据的,造成数据不一致情况
-
布隆过滤器
概念
本质上布隆过滤器是一种数据结构,比较巧妙的概率型数据结构(probabilistic data structure),特点是高效地插入和查询,可以用来告诉你 “某样东西一定不存在或者可能存在”。
现在有这样一个数据结构:
我们往缓存里面插入一个key(name),使用N个不同的Hash函数将name做N次Hash计算得到N个值,将上面数据结构的这N个地址改为1
比如说N = 3,3次Hash计算的值分别是8,15,13
那么就将8,15,13这三个位置的改为1
这个时候如果请求一个不存在的key
将这个key进行3次Hash计算,得到的值只要不是的位置有一个不为1,那么就代表缓存中没有这条数据,我们都知道Hash是会发生碰撞的,如果恰恰有一个key通过Hash计算的位置都为1,那么这个请求还是会放行。
缺点
- 不能过滤所有数据库不存在的数据
- 传统的布隆过滤器不支持删除操作,因为每个位置也可能对应其他的key
总结:布隆过滤器认为存在的缓存不一定存在,布隆过滤器认为不存在的一定不存在,所以说布隆过滤器不能过滤所有数据库不存在的数据,但是能过滤绝大部分,我们在使用布隆过滤器时需要权衡该数据结构的长度和Hash函数的个数。