缓存与数据库一致性问题

缓存与数据库一致性问题

背景

在高并发的业务场景下,数据库大多数情况都是用户并发访问最薄弱的环节。所以,就需要使用redis做一个缓冲操作,让请求先访问到redis,而不是直接访问MySQL等数据库。

img

读取缓存步骤一般没有什么问题,但是一旦涉及到数据更新:数据库和缓存更新,就容易出现缓存(Redis)和数据库(MySQL)间的数据一致性问题。无论是先更新缓存,后更新数据库;还是先更新数据库后更新缓存,都可能会出现数据不一致的情况。

​ 如果缓存更新成功了,但数据库更新失败,那么此时缓存中是最新值,但数据库中是「旧值」。

​ 虽然此时读请求可以命中缓存,拿到正确的值,但是,一旦缓存「失效」,就会从数据库中读取 到「旧值」,重建缓存也是这个旧值。

​ 这时用户会发现自己之前修改的数据又「变回去」了,对业务造成影响。

并发引发的一致性问题

假设我们采用「先更新数据库,再更新缓存」的方案,并且两步都可以「成功执行」的前提下,如果存在并发,情况会是怎样的呢?

有线程 A 和线程 B 两个线程,需要更新「同一条」数据,会发生这样的场景:

  1. 线程 A 更新数据库(X = 1)
  2. 线程 B 更新数据库(X = 2)
  3. 线程 B 更新缓存(X = 2)
  4. 线程 A 更新缓存(X = 1)

最终 X 的值在缓存中是 1,在数据库中是 2,发生不一致。

也就是说,A 虽然先于 B 发生,但 B 操作数据库和缓存的时间,却要比 A 的时间短,执行时序发生「错乱」,最终这条数据结果是不符合预期的。

解决方案

1、先更新数据库,后删除缓存,并配合消息队列或订阅变更日志的方式

依旧是 2 个线程并发「读写」数据:

  1. 缓存中 X 不存在(数据库 X = 1)
  2. 线程 A 读取数据库,得到旧值(X = 1)
  3. 线程 A 读取数据库,得到旧值(X = 1)
  4. 线程 B 删除缓存
  5. 线程 A 将旧值写入缓存(X = 1)

因为写数据库一般会先「加锁」,所以写数据库,通常是要比读数据库的时间更长的。即使在并发读写情况下,步骤5会比步骤4提前结束,因此可以保证数据一致性。

将更新缓存的操作交给消息队列处理

image-20230815152522795

由于消息队列的特性:

- 保证可靠性:写到队列中的消息,成功消费之前不会丢失(重启项目也不担心)
- 保证消息成功投递:下游从队列拉取消息,成功消费后才会删除消息,否则还会继续投递消息给消费者(符合我们重试的场景)

我们可以保证第二步成功执行,从而解决数据不一致问题。

订阅数据库变更日志,再操作缓存

具体来讲就是,我们的业务应用在修改数据时,「只需」修改数据库,无需操作缓存。

那什么时候操作缓存呢?这就和数据库的「变更日志」有关了。

拿 MySQL 举例,当一条数据发生修改时,MySQL 就会产生一条变更日志(Binlog),我们可以订阅这个日志,拿到具体操作的数据,然后再根据这条数据,去删除对应的缓存。

image-20230815153744111

订阅变更日志,可以使用阿里的canal,优点如下:

这样一旦MySQL中产生了新的写入、更新、删除等操作,就可以把binlog相关的消息推送至Redis,Redis再根据binlog中的记录,对Redis进行更新。

2、主从库延迟和延迟双删

具体步骤:

休眠时间由具体的读数据业务逻辑的耗时决定。这么做的目的就是,确保读取请求结束,写请求可以删除读请求造成的缓存脏数据。

总结

last update time 2023-08-24