我是靠谱客的博主 现实手机,最近开发中收集的这篇文章主要介绍Mysql数据同步ElasticSearch方案在开发中遇到的问题:项目中订单服务的订单数据量太大,mysql中查询订单过慢,如何保证快速的查询并且不会影响订单下单的速度?当时想到的是使用ElasticSearch搜索引擎来解决查询过慢的问题,大概有如下思路:,觉得挺不错的,现在分享给大家,希望可以做个参考。
概述
在开发中遇到的问题:
项目中订单服务的订单数据量太大,mysql中查询订单过慢,如何保证快速的查询并且不会影响订单下单的速度?
当时想到的是使用ElasticSearch搜索引擎来解决查询过慢的问题,大概有如下思路:
1. 使用mysql与es的同步插件,比如比较流行的elasticsearch-jdbc
缺点: 无法灵活的添加数据,比如你对添加进mysql中的数据进行一些聚合,查询等操作之后,再添加到es,这种操作插件很难实现
2. 使用mq消息队列在代码中实现,理由是mq异步的特性不会影响订单下单的速度,并且能根据自己想要的数据模型进行存储到es,比如对订单以及订单详情进行冗余操作,存入es。
步骤: 订单添加到mysql --> 拿到该订单,发送消息到mq --> mq监听端消费消息,代码实现自己想要的数据模型,调用es保存
缺点: 涉及到的分布式事物问题,比如添加mysql成功,发送消息之后消费,消费时添加到es失败,异步操作无法回滚事物
3. 使用多线程代码中实现, 在进行mysql添加操作之后,开启一个线程,异步的去调用es的保存操作
缺点: 涉及到线程开销问题,不能显式的创建线程,需要用到线程池,同样存在事物问题
个人建议使用第二种方式处理,因为在mq不丢消息的前提下(mq做高可用跟消息持久化),很难出现消费端添加失败的情况,失败了可以通过日志记录后处理
最后
以上就是现实手机为你收集整理的Mysql数据同步ElasticSearch方案在开发中遇到的问题:项目中订单服务的订单数据量太大,mysql中查询订单过慢,如何保证快速的查询并且不会影响订单下单的速度?当时想到的是使用ElasticSearch搜索引擎来解决查询过慢的问题,大概有如下思路:的全部内容,希望文章能够帮你解决Mysql数据同步ElasticSearch方案在开发中遇到的问题:项目中订单服务的订单数据量太大,mysql中查询订单过慢,如何保证快速的查询并且不会影响订单下单的速度?当时想到的是使用ElasticSearch搜索引擎来解决查询过慢的问题,大概有如下思路:所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复