俊秀盼望

文章
7
资源
0
加入时间
3年1月10天

大数据学习随笔2.(HDFS理论基础)HDFS理论基础

HDFS理论基础 思考:为什么需要开发HDFS? 思路:开发hdfs肯定是为了更好地去支持分布式存储和计算。 1.hdfs对于分布式中的分而治之,并行计算的支持 2.hdfs对于分布式中的计算向数据移动的支持。 存储模型 架构设计 角色功能 元数据持久化 安全模式 副本放置策略 读写流程 安全策略 ...

pig hive 安装配置

一. Pig安装1. 安装yum install hadoop-pig2. 配置a. 复制配置文件cp -r /etc/pig/conf.dist /etc/pig/conf.my_clusterb. 安装配置文件alternatives --install /etc/pig/conf pig-conf /etc/pig/conf.my_cl