大数据架构篇之计算存储架构

59 阅读 0 评论 39 点赞

我是靠谱客的博主谦让眼睛，最近开发中收集的这篇文章主要介绍大数据架构篇之计算存储架构，觉得挺不错的，现在分享给大家，希望可以做个参考。

一. 简介

对比解读五种主流大数据架构的数据分析能力
参考： https://blog.csdn.net/aria_miazzy/article/details/99572763

在这里插入图片描述

将应用程序产生的数据和日志等同步到大数据系统中，由于数据源不同，这里的数据同步系统实际上是多个相关系统的组合。数据库同步通常用 Sqoop，日志同步可以选择 Flume，打点采集的数据经过格式化转换后通过 Kafka 等消息队列进行传递。

不同的数据源产生的数据质量可能差别很大，数据库中的数据也许可以直接导入大数据系统就可以使用了，而日志和爬虫产生的数据就需要进行大量的清洗、转化处理才能有效使用。

这部分是大数据存储与计算的核心，数据同步系统导入的数据存储在 HDFS。MapReduce、Hive、Spark 等计算任务读取 HDFS 上的数据进行计算，再将计算结果写入 HDFS。

MapReduce、Hive、Spark 等进行的计算处理被称作是离线计算，HDFS 存储的数据被称为离线数

以上就是谦让眼睛为你收集整理的大数据架构篇之计算存储架构的全部内容，希望文章能够帮你解决大数据架构篇之计算存储架构所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。