mysql缓存和redis查询效率

浅谈MySQL与redis缓存的同步方案

本文介绍mysql与redis缓存的同步的两种方案

一、方案1(udf)

 

场景分析:当我们对mysql数据库进行数据操作时,同时将相应的数据同步到redis中,同步到redis之后,查询的操作就从redis中查找

过程大致如下:

在mysql中对要操作的数据设置触发器trigger,监听操作

客户端(nodeserver)向mysql中写入数据时,触发器会被触发,触发之后调用mysql的udf函数

udf函数可以把数据写入到redis中,从而达到同步的效果

mysql缓存和redis查询效率(浅谈MySQL与redis缓存的同步方案)

方案分析:

演示案例

 

下面是mysql的表

mysql缓存和redis查询效率(浅谈MySQL与redis缓存的同步方案)

下面是udf的解析代码

mysql缓存和redis查询效率(浅谈MySQL与redis缓存的同步方案)

定义对应的触发器

mysql缓存和redis查询效率(浅谈MySQL与redis缓存的同步方案)

mysql缓存和redis查询效率(浅谈MySQL与redis缓存的同步方案)

mysql缓存和redis查询效率(浅谈MySQL与redis缓存的同步方案)

二、方案2(解析binlog)

 

在介绍方案2之前我们先来介绍一下mysql复制的原理,如下图所示:

mysql缓存和redis查询效率(浅谈MySQL与redis缓存的同步方案)

方案2就是:

mysql缓存和redis查询效率(浅谈MySQL与redis缓存的同步方案)

例如下面是一个云数据库实例分析:

云数据库与本地数据库是主从关系。云数据库作为主数据库主要提供写,本地数据库作为从数据库从主数据库中读取数据

本地数据库读取到数据之后,解析bin log,然后将数据写入写入同步到redis中,然后客户端从redis读数据

mysql缓存和redis查询效率(浅谈MySQL与redis缓存的同步方案)

这个技术方案的难点就在于:如何解析mysql的bin log。但是这需要对binlog文件以及mysql有非常深入的理解,同时由于binlog存在statement/row/mixedlevel多种形式,分析binlog实现同步的工作量是非常大的

canal开源技术

 

canal是阿里巴巴旗下的一款开源项目,纯java开发。基于数据库增量日志解析,提供增量数据订阅&消费,目前主要支持了mysql(也支持mariadb)

开源参考地址有:https://github.com/liukelin/canal_mysql_nosql_sync

工作原理(模仿mysql复制):

mysql缓存和redis查询效率(浅谈MySQL与redis缓存的同步方案)

架构:

server代表一个canal运行实例,对应于一个jvm

instance对应于一个数据队列 (1个server对应1..n个instance)

instance模块:

mysql缓存和redis查询效率(浅谈MySQL与redis缓存的同步方案)

大致的解析过程如下:

mysql缓存和redis查询效率(浅谈MySQL与redis缓存的同步方案)

更多关于cancl可以百度搜索

下面是运行拓扑图

mysql缓存和redis查询效率(浅谈MySQL与redis缓存的同步方案)

mysql表的同步,采用责任链模式,每张表对应一个filter。例如zvsync中要用到的类设计如下:

mysql缓存和redis查询效率(浅谈MySQL与redis缓存的同步方案)

下面是具体化的zvsync中要用到的类,每当新增或者删除表时,直接进行增删就可以了

mysql缓存和redis查询效率(浅谈MySQL与redis缓存的同步方案)

三、附加

 

本文上面所介绍的都是从mysql中同步到缓存中。但是在实际开发中可能有人会用下面的方案:

mysql缓存和redis查询效率(浅谈MySQL与redis缓存的同步方案)

到此这篇关于浅谈mysql与redis缓存的同步方案的文章就介绍到这了,更多相关mysql与redis缓存同步内容请搜索开心学习网以前的文章或继续浏览下面的相关文章希望大家以后多多支持开心学习网!

原文链接:https://dongshao.blog.csdn.net/article/details/107190925