分布式缓存redis

一、附录:
redis的命令参考: http://doc.redisfans.com/index.html
redis的教程:http://www.runoob.com/redis/redis-pub-sub.html
redis的集群教程:http://www.redis.cn/topics/cluster-tutorial.html
史上最全Redis高可用技术解决方案大全:https://mp.weixin.qq.com/s/BoLsVKYyu8yRXZbxd1uuQw

二、常见问题:

  1. Redis 的特点?
    Redis 是由意大利人 Salvatore Sanfilippo(网名:antirez)开发的一款内存高速缓存数据库。Redis 全称为:Remote Dictionary Server(远程数据服务),该软件使用 C 语言编写,典型的 NoSQL 数据库服务器,Redis 是一个 key-value 存储系统,它支持丰富的数据类型,如:string、list、set、zset(sorted set)、hash。Redis 本质上是一个 Key-Value 类型的内存数据库,很像 memcached,整个 数据库统统加载在内存当中进行操作,定期通过异步操作把数据库数据 flush 到硬盘 上进行保存。因为是纯内存操作,Redis 的性能非常出色,每秒可以处理超过 10 万次读写操作,是已知性能最快的 Key-Value DB。Redis 的出色之处不仅仅是性能,Redis 最大的魅力是支持保存多种数据结构,此外单 个 value 的最大限制是1GB,不像 memcached 只能保存 1MB 的数据,另外 Redis 也可以对存入的 Key-Value 设置 expire 时间。Redis 的主要缺点是数据库容量受到物理内存的限制,不能用作海量数据的高性能读写,因此 Redis 适合的场景主要局限在较小数据量的高性能操作和运算上。

  2. 为什么 redis 需要把所有数据放到内存中?
    Redis 为了达到最快的读写速度将数据都读到内存中,并通过异步的方式将数据写入磁盘。所以 redis 具有快速和数据持久化的特征。如果不将数据放在内存中,磁盘 I/O 速度为严重影响 redis 的性能。在内存越来越便宜的今天,redis 将会越来越受欢迎。如果设置了最大使用的内存,则数据已有记录数达到内存限值后不能继续插入新值。

  3. Redis 常见的性能问题都有哪些?如何解决?
    (1)、Master 写内存快照,save 命令调度 rdbSave 函数,会阻塞主线程的工作,当快照比较大时对性能影响是非常大的,会间断性暂停服务,所以 Master 最好不要写内存快照。
    (2)、Master AOF 持久化,如果不重写 AOF 文件,这个持久化方式对性能的影响是最小的,但是 AOF 文件会不断增大,AOF 文件过大会影响 Master 重启的恢复速度。Master 最好不要做任何持久化工作,包括内存快照和 AOF日志文件,特别是不要启用内存快照做持久化,如果数据比较关键,某个 Slave 开启 AOF 备份数据,策略为每秒同步一次。
    (3)、Master 调用 BGREWRITEAOF 重写 AOF 文件,AOF 在重写的时候会占大量的 CPU 和内存资源,导致服务 load 过高,出现短暂服务暂停现象。
    (4)、Redis 主从复制的性能问题,为了主从复制的速度和连接的稳定性,Slave 和 Master 最好在同一个局域网内

  4. Redis 最适合的场景有哪些?
    (1)、会话缓存(Session Cache)
    (2)、全页缓存(FPC)
    (3)、队列
    (4)、排行榜/计数器
    (5)、发布/订阅

  5. Memcache 与 Redis 的区别都有哪些?
    (1)、存储方式不同,Memcache 是把数据全部存在内存中,数据不能超过内存的大小,断电后数据库会挂掉。Redis 有部分存在硬盘上,这样能保证数据的持久性。
    (2)、数据支持的类型不同 memcahe 对数据类型支持相对简单,redis 有复杂的数据类型。
    (3)、使用底层模型不同 它们之间底层实现方式 以及与客户端之间通信的应用协议不一样。Redis 直接自己构建了 VM 机制 ,因为一般的系统调用系统函数的话,会浪费一定的时间去移动和请求。
    (4)、支持的 value 大小不一样 redis 最大可以达到 1GB,而 memcache 只有 1MB。

  6. Redis 用过 RedisNX 吗?Redis 有哪几种数据结构?
    反正我是不知道 redisnx 是什么,度娘也不清楚,如果面试中问道自己没有接触过或者没有听过的技术可以直接大胆的告诉他,没有接触过,或者没有听过。
    Redis 的数据结构有五种,分别是:
    String——字符串
    String 数据结构是简单的 key-value 类型,value 不仅可以是 String,也可以是数字(当数字类型用 Long 可以表示的时候 encoding 就是整型,其他都存储在 sdshdr 当做字符串)。
    Hash——字典
    在 Memcached 中,我们经常将一些结构化的信息打包成 hashmap,在客户端序列化后存储为一个字符串的值(一般是 JSON 格式),比如用户的昵称、年龄、性别、积分等。
    List——列表
    List 说白了就是链表(redis 使用双端链表实现的 List),相信学过数据结构知识的人都应该能理解其结构。
    Set——集合
    Set 就是一个集合,集合的概念就是一堆不重复值的组合。利用 Redis 提供的 Set 数据结构,可以存储一些集合性的数据。
    Sorted Set——有序集合
    和 Sets 相比,Sorted Sets 是将 Set 中的元素增加了一个权重参数 score,使得集合中的元素能够按 score 进行有序排列,

  7. 带有权重的元素,比如一个游戏的用户得分排行榜
    2.比较复杂的数据结构,一般用到的场景不算太多

  8. Redis 的优缺点?
    优点:
    a) 性能极高 – Redis 能支持超过 100K+ 每秒的读写频率。
    b) 丰富的数据类型 – Redis 支持二进制案例的 Strings, Lists, Hashes, Sets 及 Ordered Sets 数据类型操作。
    c) 原子 – Redis 的所有操作都是原子性的,同时 Redis 还支持对几个操作全并后的原子性执行。
    attention 原子性定义:例如,A 想要从自己的帐户中转 1000 块钱到 B 的帐户里。那个从 A 开始转帐,到转帐结束的这一个过程,称之为一个事务。如果在 A 的帐户已经减去了 1000 块钱的时候,忽然发生了意外,比如停电什么的,导致转帐事务意外终止了,而此时 B 的帐户里还没有增加 1000 块钱。那么,我们称这个操作失败了,要进行回滚。回滚就是回到事务开始之前的状态,也就是回到 A 的帐户还没减 1000 块的状态,B 的帐户的原来的状态。此时A 的帐户仍然有 3000 块,B 的帐户仍然有 2000 块。我们把这种要么一起成功(A 帐户成功减少 1000,同时 B 帐户成功增加 1000),要么一起失败(A 帐户回到原来状态,B 帐户也回到原来状态)的操作叫原子性操作。如果把一个事务可看作是一个程序,它要么完整的被执行,要么完全不执行,这种特性就叫原子性。
    ·d)丰富的特性 – Redis 还支持 publish/subscribe, 通知, key 过期等等特性。
    缺点:
    a). 由于是内存数据库,所以,单台机器,存储的数据量,跟机器本身的内存大小。虽然 redis 本身有 key 过期策略,但是还是需要提前预估和节约内存。如果内存增长过快,需要定期删除数据。
    b). 如果进行完整重同步,由于需要生成 rdb 文件,并进行传输,会占用主机的 CPU,并会消耗现网的带宽。不过 redis2.8 版本,已经有部分重同步的功能,但是还是有可能有完整重同步的。比如,新上线的备机。
    c). 修改配置文件,进行重启,将硬盘中的数据加载进内存,时间比较久。在这个过程中,redis 不能提供服务。

  9. Redis 的持久化?
    RDB 持久化:该机制可以在指定的时间间隔内生成数据集的时间点快照(point-in-time snapshot)。
    AOF 持久化:记录服务器执行的所有写操作命令,并在服务器启动时,通过重新执行这些命令来还原数据集。AOF 文件中的命令全部以 Redis 协议的格式来保存,新命令会被追加到文件的末尾。 Redis 还可以在后台对 AOF 文件进行重写(rewrite),使得 AOF 文件的体积不会超出保存数据集状态所需的实际大小无持久化:让数据只在服务器运行时存在。同时应用 AOF 和 RDB:当 Redis 重启时, 它会优先使用 AOF 文件来还原数据集, 因为 AOF 文件保存的数据集通常比 RDB文件所保存的数据集更完整。
    RDB 的优缺点:
    优点:RDB 是一个非常紧凑(compact)的文件,它保存了 Redis 在某个时间点上的数据集。 这种文件非常适合用于进行备份: 比如说,你可以在最近的 24 小时内,每小时备份一次 RDB 文件,并且在每个月的每一天,也备份一个 RDB 文件。 这样的话,即使遇上问题,也可以随时将数据集还原到不同的版本。RDB 非常适用于灾难恢复(disaster recovery):它只有一个文件,并且内容都非常紧凑,可以(在加密后)将它传送到别的数据中心,或者亚马逊 S3 中。RDB 可以最大化 Redis 的性能:父进程在保存 RDB 文件时唯一要做的就是 fork 出一个子进程,然后这个子进程就会处理接下来的所有保存工作,父进程无须执行任何磁盘 I/O 操作。RDB 在恢复大数据集时的速度比 AOF 的恢复速度要快。

缺点:如果你需要尽量避免在服务器故障时丢失数据,那么 RDB 不适合你。 虽然 Redis 允许你设置不同的保存点(save point)来控制保存 RDB 文件的频率, 但是, 因为 RDB 文件需要保存整个数据集的状态, 所以它并不是一个轻松的操作。 因此你可能会至少 5 分钟才保存一次 RDB 文件。 在这种情况下, 一旦发生故障停机, 你就可能会丢失好几分钟的数据。每次保存 RDB 的时候,Redis 都要 fork() 出一个子进程,并由子进程来进行实际的持久化工作。 在数据集比较庞大时, fork() 可能会非常耗时,造成服务器在某某毫秒内停止处理客户端;如果数据集非常巨大,并且 CPU 时间非常紧张的话,那么这种停止时间甚至可能会长达整整一秒。AOF 的优缺点。
优点:
1、使用 AOF 持久化会让 Redis 变得非常耐久(much more durable):你可以设置不同的 fsync 策略,比如
无 fsync ,每秒钟一次 fsync ,或者每次执行写入命令时 fsync 。 AOF 的默认策略为每秒钟 fsync 一次,在这种
配置下,Redis 仍然可以保持良好的性能,并且就算发生故障停机,也最多只会丢失一秒钟的数据( fsync 会在后台
线程执行,所以主线程可以继续努力地处理命令请求)。AOF 文件是一个只进行追加操作的日志文件(append only
log), 因此对 AOF 文件的写入不需要进行 seek , 即使日志因为某些原因而包含了未写入完整的命令(比如写入
时磁盘已满,写入中途停机,等等), redis-check-aof 工具也可以轻易地修复这种问题。
2、Redis 可以在 AOF 文件体积变得过大时,自动地在后台对 AOF 进行重写: 重写后的新 AOF 文件包含了
恢复当前数据集所需的最小命令集合。 整个重写操作是绝对安全的,因为 Redis 在创建新 AOF 文件的过程中,会
继续将命令追加到现有的 AOF 文件里面,即使重写过程中发生停机,现有的 AOF 文件也不会丢失。 而一旦新 AOF
文件创建完毕,Redis 就会从旧 AOF 文件切换到新 AOF 文件,并开始对新 AOF 文件进行追加操作。
缺点:
对于相同的数据集来说,AOF 文件的体积通常要大于 RDB 文件的体积。根据所使用的 fsync 策略,AOF 的速
度可能会慢于 RDB 。 在一般情况下, 每秒 fsync 的性能依然非常高, 而关闭 fsync 可以让 AOF 的速度和 RDB
一样快, 即使在高负荷之下也是如此。 不过在处理巨大的写入载入时,RDB 可以提供更有保证的最大延迟时间
(latency)。
AOF 在过去曾经发生过这样的 bug : 因为个别命令的原因,导致 AOF 文件在重新载入时,无法将数据集恢复
成保存时的原样。 (举个例子,阻塞命令 BRPOPLPUSH 就曾经引起过这样的 bug 。) 测试套件里为这种情况添
加了测试: 它们会自动生成随机的、复杂的数据集, 并通过重新载入这些数据来确保一切正常。 虽然这种 bug 在
AOF 文件中并不常见, 但是对比来说, RDB 几乎是不可能出现这种 bug 的。

三、核心逻辑?
分布式缓存redis

不同类型长度限制:
string 最大512M
List 最大长度 (2的32次方-1),有序可重复
Sets 最大长度 (2的32次方-1),不允许重复,自动去重
Sorted sets,同上,支持按score排序
Hashes kv对数(2的32次方-1)

内部方法详解:
1.String
String setBin(String key, byte[] value)

按字节数组关联到key下

byte[] getBin(String key)

根据key查找对应下的字节数组

String set(String key, String value)

将字符串值value关联到key
String get(String key)
返回key所关联的字符串值,如果key不存在则返回null
long setnx(String key, String value)

将字符串值value关联到key,如果key已存在则不做任何改变。返回1表示key不存在,第一次设置;返回0表示key已经存在

String setex(String key, int seconds, String value)

将值value关联到key,并将key的生命周期设为seconds(以秒为单位)。如果key 已经存在,SETEX命令将覆写旧值。

long append(String key, String value)

如果key已经存在并且是一个字符串,APPEND命令将value追加到key原来的值之后
如果key不存在,APPEND就简单地将给定key设为value,同 SET key value

long strlen(String key) throws RedisException;

获取key所对应的value字符串长度

long incr(String key)

将key中储存的数字值加1,如果key不存在,以0为key的初始值,然后执行INCR操作。线程安全

long incrBy(String key, long n)

将key中储存的数字值加n,如果key不存在,以0为key的初始值,然后执行INCRBY操作

long decr(String key)

将key中储存的数字值减1,如果key不存在,以0为key的初始值,然后执行DECR操作。

long decrBy(String key, long n)

将key中储存的数字值减n,如果key不存在,以0为key的初始值,然后执行DECRBY操

String getSet(String key, String value)

设置key为当前值,并返回旧的值

String set(String key, String value, String nxxx, String expx, long time) throws RedisException;

将字符串值value关联到key:
nxxx:必须是NX或者XX,NX表示不存在则设置否则不做操作;XX表示存在才设置否则不做操作
expx:过期时间单位必须是EX或PX,EX表示单位是“秒”,PX表示单位是“毫秒”
time:过期时间,前一个参数是"EX"的话单位为“秒”,是"PX"的话单位为“毫秒”

@return 操作成功的话返回字符串OK,否则返回null

ps:从Redis 2.6.12 版本开始支持

2.List
Redis lists基于Linked Lists实现。这意味着即使在一个list中有数百万个元素,在头部或尾部添加一个元素的操作,其时间复杂度也是常数级别的。用LPUSH 命令在十个元素的list头部添加新元素,和在千万元素list头部添加新元素的速度相同

long lpush(String key, String value)

将值value插入到列表key的表头。 如果key不存在,一个空列表会被创建并执行LPUSH操作

long lpushBin(String key, byte[] value)

同上

long rpush(String key, String value)

将值value插入到列表key的表尾。 如果key不存在,一个空列表会被创建并执行RPUSH操作

long rpushBin(String key, byte[] value)

同上

String lpop(String key)

移除并返回列表key的头元素

byte[] lpopBin(String key)

同上

String rpop(String key)

移除并返回列表key的尾元素

byte[] rpopBin(String key)

同上

long llen(String key)

计算列表长度

List lrange(String key, long start, long end)

返回列表key中指定区间内的元素,[start,end],区间为0开始

String ltrim(String key, int start, int end)

列表只保留指定区间内的元素,不在指定区间之内的元素都将被删除

long lrem(final String key, final long count, final String value)

根据参数count的值,移除列表中与参数value相等的元素
count的值可以是以下几种:
count > 0: 从表头开始向表尾搜索,移除与value相等的元素,数量为count
count < 0: 从表尾开始向表头搜索,移除与value相等的元素,数量为count的绝对值
count = 0: 移除表中所有与value相等的值

3.Set
long sadd(String key, String member)

将member单个元素加入到集合key当中

long sadd(String key, String… members)

将members元素数组加入到集合key当中

long srem(String key, String member)

移除集合中的member元素

long scard(String key)

集合中元素的数量

Set smembers(String key)

返回set中的所有元素

4.sorted set
long zadd(String key, double score, String member)

将member元素及其score值加入到有序集key当中

double zincrby(String key, double score, String member)

对member元素增加score值

long zrem(String key, String member)

移除有序集合key中的成员member,如果member不是有序集中的成员,不做任何操作

long zremrangeByScore(String key, double start, double end)

删除的有序集合保存在key的最小值和最大值(含)之间的分数的所有元素

long zcard(String key)

集合长度

long zcount(String key, double min, double max)

有序集key中,score值在min和max之间的成员数量

double zscore(String key, String member)

有序集key中,成员member的score值

long zrank(String key, String member)

返回有序集key中成员member的排名。其中有序集成员按score值递增(从小到大)顺序排列
排名以0为底,也就是说,score值最小的成员排名为0

Set zrange(String key, int start, int end)

返回索引区间之间的元素,最小元素索引号为0,[start,end]

Set zrangeByScore(String key, double min, double max)

返回分数之间的元素,[min,max]

Set zrangeByScore(String key, double min, double max, int offset, int count)

分数由小到大的顺序,取[min,max]之间的数据,offset表示取数据的开始位置(O:表示最小分数的那个位置),最多返回count个结果

long zrevrank(String key, String member)

返回有序集key中成员member的排名。其中有序集成员按score值递减(从大到小)排序
排名以0为底,也就是说,score值最大的成员排名为0

Set zrevrange(String key, int start, int end)

返回索引区间之间的元素,最大元素索引号为0,[start,end]

Set zrevrangeByScoreWithScores(String key, double max, double min, int offset, int count)

分数按大到小的顺序,取[min,max]之间的数据,offset表示取数据的开始位置(O:表示最大分数的那个位置),最多返回count个结果,Tuple包含分数、value值等信息。

5.Hash
long hset(String key, String field, String value)

将哈希表key中的域field的值设为value,如果key不存在,一个新的哈希表被创建并进行HSET操作。

long hsetBin(String key, String field, byte[] value)

同上

long hsetnx(String key, String field, String value)

将哈希表key中的域field的值设为value,如果key已经存在,不做任何处理

String hmset(String key, Map<String, String> hash)

同时将多个field - value(域-值)对设置到哈希表key中

String hget(String key, String field)

返回哈希表key中给定域field的值

byte[] hgetBin(String key, String field)

同上

Map<String, String> hgetAll(String key)

返回哈希表key中,所有的域和值

List hmget(String key, String… fields)

返回哈希表key中,一个或多个给定域的值,一一对应的
如果给定的域不存在于哈希表,那么返回一个null.

long hlen(String key)

返回Hash表中的元素个数

Set hkeys(String key)

返回Hash表中的keys

List hvals(String key)

返回Hash表中的values

boolean hexists(String key, String field)

哈希表key中,给定域field是否存在

long hdel(String key, String field)

删除哈希表key中的一个指定域

long hincrBy(String key, String field, long value)

对哈希中的某个key对应的值增加计数,线程安全。
如果field不存在,初始值为0