大数据学习随笔2.(HDFS理论基础)HDFS理论基础 HDFS理论基础 思考:为什么需要开发HDFS? 思路:开发hdfs肯定是为了更好地去支持分布式存储和计算。 1.hdfs对于分布式中的分而治之,并行计算的支持 2.hdfs对于分布式中的计算向数据移动的支持。 存储模型 架构设计 角色功能 元数据持久化 安全模式 副本放置策略 读写流程 安全策略 ... 大数据 2023-10-20 150 点赞 2 评论 227 浏览
pig hive 安装配置 一. Pig安装1. 安装yum install hadoop-pig2. 配置a. 复制配置文件cp -r /etc/pig/conf.dist /etc/pig/conf.my_clusterb. 安装配置文件alternatives --install /etc/pig/conf pig-conf /etc/pig/conf.my_cl 技术 2023-10-08 122 点赞 1 评论 184 浏览