hadoop、spark和k8s等大数据架构
首先谈谈大数据架构五横：数据采集层：既包括传统的ETL离线采集、也有实时采集、互联网爬虫解析等等。数据处理层：根据数据处理场景要求不同，可以划分为HADOOP、MPP、流处理等等。数据分析层：主要包含了分析引擎，比如数据挖掘、机器学习、 深度学习数据访问层：主要是实现读写分离，将偏向应用的查询等能力与计算能力剥离，包括实时查询、多维查询、常规查询等应用场景。数据应用层：根据企业的特点不同划分不同类别的应用，比如针对运营商，对内有精准营销、客服投诉、基站分析等，对外有基于位置的客流、基
