概述
目前遇到一个需要实时处理mysql数据并同步到es的业务，通过几天的摸索研究，总结一下。
在数据库数量比较多，按月分表，且每张表数据上千万级时，如果只是单纯的增量，直接在数据库里面轮询无问题。但是当数据有删改的情况时，直接通过sql就不能很好的实时监控其变化了。此时想到了通过监控mysql的binlog日志，进行数据的实时同步。
帖子包含mysql binlog日志的开启，es、zookeeper、kafka集群搭建，kafka connector连接。java端消费kafka消息并写入到es或者数据库redis等操作在此就不做叙述。
本次采用的流程如下，接下来分下面几个步骤详细描述：
采用的服务器及工具版本如下，具体各个工具的作用见里面
服务器：centos7.6
jdk：1.8.0_162
mysql：8.0.20
es：7.9.2
zookeeper：3.4.12
kafka：2.13-2.6.0
debezium：1.4.0
下面分为三个步骤详细描述
1、mysql开启binlog日志，创建用户及分配权限
2、es集群配置
3、zookeeper集群和kafka集群配置以及kafka connector之debezium的使用
欢迎各位加qq群技术交流：1039603877
最后
以上就是自觉歌曲为你收集整理的mysql通过kafka实现数据实时同步（一）——介绍的全部内容，希望文章能够帮你解决mysql通过kafka实现数据实时同步（一）——介绍所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复