Hadoop权威指南-DFSClient

第9章 HDFS客户端

1. DFSClient的构造和关闭

DFSClient()构造方法的功能：

1） 读取配置项信息并初始化成员变量

2） 建立到NameNode的IPC连接（createRPCNamenode（）和createNamenode（））

DFSClient.close()关闭客户端的功能：

1） leasechecker.close()//关闭租约管理器

2） clientRunning=false;//中断DFSClient对象打开的输入输出流

3） RPC.stopProxy(rpcNamenode);

2.文件和目录、系统管理相关任务

DFSClient.checkOpen();//检查客户端是否关闭

然后通过RPC对象调用相应的远程Namenode方法完成操作

3.输入流

DFSClient.open();//打开文件构造并返回一个DFSInputStream对象

${dfs.read.prefetch.size}预取读的大小是10个数据块大小

${io.file.buffer.size}输入缓冲区大小

DFSInputStream.read();//读文件

DFSInputStream.close();//关闭流

4.DistributedFileSystem的实现

DistributedFileSystem是适配器模式的典型应用

构造DistributedFileSystem时会默认加载”hdfs-default.xml”和”hdfs-site.xml”文件

5.HDFS常用工具

Dfsadmin和shell

Hadoop fs –copyFromLocal 本地文件 HDFS文件

ToolRunner.run()创建必要的Configuration对象

GenericOptionsParser解析FsShell参数，并设置到Configuration中

hadoop fs –fs hdfs://example.com:54300 设置默认的文件系统

hadoop fs –D fs.default.name=hdfs://example.com:54300 

最后

以上就是独特蜻蜓为你收集整理的Hadoop权威指南-DFSClient的全部内容，希望文章能够帮你解决Hadoop权威指南-DFSClient所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。