数据采集 | 分布式日志采集-ELK方案设计

98 阅读 0 评论 65 点赞

我是靠谱客的博主心灵美香烟，最近开发中收集的这篇文章主要介绍数据采集 | 分布式日志采集-ELK方案设计，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

前言

分布式日志采集在比较大型的项目中经常用到，用来采集分析用户/系统产生的海量日志

但是在微服务架构下每个提供者（provider）都要收集其日志，需要安装采集组件，无疑是对系统部署以及正常运行压力带来不小的挑战，那什么场景下选用该组件比较合适呢？

其实ELK架构设计可应用于该日志采集场景的技术栈选型，个人觉得首先要从业务场景考虑，要有助于推动产品的发展

近期项目发展需要主要基于以下两点，觉得有必要引入该技术栈

1.数据治理：确定了数据治理阶段性目标后，分布式日志采集为数据联通中一重要组成部分，也基于大数据组有相关技术优势，同时为大数据组提供数据分析基础（海量有价值日志）

2.技术组件服务化：网关路由组件服务化，在不断升级优化各系统技术组件，将共有部分、核心部分服务化，在原有网关产品（智能封装）的基础之上,引入分布式日志组件（ELK）对产品起到了一定的功能补充，网关抽象为产品层的大数据实时监控分析系统