伶俐老鼠

文章
3
资源
0
加入时间
3年0月21天

DTS数据上报优化背景问题分析方案设计

背景现象业务基于ElasticSearch为产品提供了全文搜索能力,需要及时将DB变更数据异构到ES,供业务查询,即DTS(Database To ES);由于数据变更入口较多,使用Canal原生客户端去监听数据binlog变更,并将数据顺序投递到MQ,基础搜索服务消费端消费,过滤,数据组装后,上报到ES,即DB->Canal->MQ->Comsumer->ES;目前整体DB->ES数据同步较慢,处理速度QPS为60左右,在遇