Redis 缓存过期导致并发请求穿透至数据库

[Eshan]

原创作品，转载请注明出处： http://api.crap.cn/index.do#/top/webPage/detail/ARTICLE/7754a002-6400-442d-8dc8-e76e72d948ac

目前高并发项目会在数据库之上引入数据缓存：

1. 缓存雪崩，什么是雪崩效应？

    缓存雪崩可能是因为数据未加载到缓存中，或者缓存同一时间大面积的失效，从而导致所有请求都去查数据库，导致数据库 CPU 和内存负载过高，甚至宕机。
   
   我的理解的雪崩效应是在分层服务调用的系统中，当一个较为基础的服务 a 因某种原因不可用，导致其调用服务 b ， c 也不可用，而 b 的不可用又导致其调用服务 e ， f 的不可用，不可用的服务就好像滚雪球一样越滚越大，最后导致系统出现严重故障。我们称之为雪崩效应。如图。
   

以此为例，当数据库主备都不可用时，将导致其调用服务的关联失效（红色组件）

2.基于 redis 数据过时失效的策略，在缓存过期的短时间内存在数据库短暂压力问题，如下：

为解决上述问题（主要是后者），可采用一下解决方案如下：

这里我们以两个键值对的缓存代替之前的一个，将缓存时间（ key-time),和缓存数据（ key-data ）分离，这样

1.当缓存过期时，第一个线程发现 key-time 没有，则先更新 key-time,

2.然后去查询数据库（或任何比较耗时的数据查询方式），并更新 key-data 的值，

3.当后续线程来获取数据时，虽然第一个还没有从数据库查完并更新缓存，但发现 key-time 存在，会获取旧的数据。

虽然按这种方式获取的数据中 c 类型的数据为旧数据，但可以做到：

在缓存过期时不至于在短时间内对数据库造成较高压力（解决第 2 个问题）。

在数据库不可用，同时缓存过期的时候，其调用服务皆不可用，造成连锁反应，而已该解决方式，则可以返回过期数据，为修复数据库赢得宝贵时间（缓解雪崩效应）

示例代码：

Redis 获取数据 public static String get(String key) { Jedis jedis = null; int redisIndex = RedisUtils.getRedisIndex(key); try { jedis = getRedis(redisIndex); jedis.select(1); // 缓存过期 && 获取锁成功 // setnx:原子操作，如果不存在则设置值，并返回 1 。如果缓存存在，则返回 0 ，设置缓存失败 if(jedis.setnx("lock_"+key, System.currentTimeMillis()+"")==1){ /** * 将锁的有效时间设为 60s ，在 60s 内如果查询数据库成功，则更新该锁的失效时间=缓存时间。 * 如果 60s 内出现异常，则 60s 后第一个请求又会去访问数据库... * 返回 null 表示没有查询到数据库，外层代码会通过数据库获取数据 */ jedis.expire("lock_"+key, 60); return null; } // (缓存未过期) || (缓存过期，但是获取锁失败) then 返回旧的数据 else{ jedis.select(0); return jedis.get(key); } } catch (JedisException e) { if (jedis != null) { returnBrokenResource(jedis, redisIndex); // 避免在 finally 中再次关闭 reids jedis = null; } throw e; } finally { if (jedis != null) { returnResource(jedis, redisIndex); } } }

Redis 缓存数据 public static boolean set(String key, String value, int seconds) { Jedis jedis = null; int redisIndex = RedisUtils.getRedisIndex(key); try { jedis = getRedis(redisIndex); if (seconds > 0){ // 添加缓存，缓存有效时间=真实时间+1 天 jedis.setex(key, seconds + 60 * 60 *24 , value); jedis.select(1); // 添加缓存锁，有效时间 =真实时间 jedis.setex("lock_" + key, seconds, System.currentTimeMillis()+""); }else{ jedis.set(key, value); jedis.select(1); jedis.set("lock_" + key, System.currentTimeMillis()+""); } return true; } catch (JedisException e) { if (jedis != null) { returnBrokenResource(jedis, redisIndex); // 避免在 finally 中再次关闭 reids jedis = null; } throw e; } finally { if (jedis != null) { returnResource(jedis, redisIndex); } } }