大数据架构篇之计算存储架构
一. 简介对比解读五种主流大数据架构的数据分析能力参考: https://blog.csdn.net/aria_miazzy/article/details/99572763二. 大数据架构1. 互联网大数据平台架构1.1 数据采集将应用程序产生的数据和日志等同步到大数据系统中,由于数据源不同,这里的数据同步系统实际上是多个相关系统的组合。数据库同步通常用 Sqoop,日志同步可以选择 Flume,打点采集的数据经过格式化转换后通过 Kafka 等消息队列进行传递。不同的数据源产生的数据质