HDFS--分布式存储系统

• 1. secondary通知namenode切换editlog
  2. secondary从namenode获得fsimage和editlog(通过http)
  3. secondary将fsimage载入内存，然后开始合并editlog
  4. secondary将新的fsimage发回给namenode
  5. namenode用新的fsimage替换旧的fsimage

1）通过在本地的 eclipse 中的 java 代码访问远程 linux 中的 hdfs。

要使用宿主机中的 java 代码访问客户机中的 hdfs，需要保证以下几点：

l 确保宿主机与客户机的网络是互通的

l 确保宿主机和客户机的防火墙都关闭，因为很多端口需要通过，为了减少防火墙配置，直接关闭

l 确保宿主机与客户机使用的 jdk 版本一致。如果客户机使用 jdk6，宿主机使用 jdk7，那么代码运行时会报不支持的版本的错误

l 宿主机的登录用户名必须与客户机的用户名一直。比如我们 linux 使用的是 root 用户，那么 windows 也要使用 root 用户，否则会报权限异常

l 在 eclipse 项目中覆盖 hadoop 的 org.apache.hadoop.fs.FileUtil 类的 checkReturnValue 方法，如图 4-661，目的是为了避免权限错误

2）使用FileSystem api读写数据

在 hadoop 的 HDFS 操作中，有个非常重要的 api，是 org.apache.hadoop.fs.FileSystem，这是我们用户代码操作 HDFS 的直接入口，该类含有操作 HDFS 的各种方法，类似于 jdbc 中操作数据库的直接入口是 Connection 类。

2.1）那我们怎么获得一个 FileSystem 对象哪？

String uri = "hdfs://192.168.1.240:9000/";

Configuration conf = new Configuration();

FileSystem fs = FileSystem.get(URI.create(uri), configuration);

-------------------------------------------------------------------------------------------------------------------------------

以上代码中，要注意调用的是 FileSystem 的静态方法 get，传递两个值给形式参数，第一个访问的 HDFS 地址，该地址的协议是 hdfs，ip 是 192.168.1.240，端口是 9000.。这个地址的完整信息是在配置文件 core-site.xml 中指定的，读者可以使用自己环境的配置文件中的设置。第二个参数是一个配置对象。

2.2）我们在 HDFS 的根目录下创建文件夹，代码如下

final String pathString = "/d1";

boolean exists = fs.exists(new Path(pathString));

if(!exists){

boolean result = fs.mkdirs(new Path(pathString));

System.out.println(result);

}

以上代码中，决定创建的文件夹完整路径是“/d1” 。第二行代码是使用方法 exitst判断文件夹是否存在；如果不存在，执行创建操作。创建文件夹，调用的是 mkdirs 方法，返回值是布尔值，如果是 true，表示创建成功；如果是 false，表示创建失败。

2.3）

写文件，我向 HDFS 写入文件，代码如下：

final String pathString = "/d1/f1";

final FSDataOutputStream fsDataOutputStream = fs.create(new Path(pathString));

IOUtils.copyBytes(new ByteArrayInputStream("my name is yl".getBytes()),

fsDataOutputStream, configuration, true);

第一行代码表示创建的文件是在刚才创建的 d1 文件夹下的文件 f1；

第二行是调用 create 方法创建一个通向 HDFS 的输出流；

第三行是通过调用 hadoop 的一个工具类 IOUtils 的静态方法 copyBytes 把一个字符串发

送给输出流中。该静态方法有四个参数，第一个参数输入流，第二个参数是输出流，第三个参数是配置对象，第四个参数是布尔值，如果是 true 表示数据传输完毕后关闭流。

2.4）读文件，现在把刚才写入到 HDFS 的文件“/d1/f1”读出来，代码如下：

final String pathString = "/d1/f1";

final FSDataInputStream fsDataInputStream = fs.open(new Path(pathString));

IOUtils.copyBytes(fsDataInputStream, System.out, configuration, true);

第二行表示调用方法 open 打开一个指定的文件，返回值是一个通向该文件的输入流；

第三行还是调用 IOUtils.copyBytes 方法，输出的目的地是控制台。

2.5）查看目录列表和文件详细信息，可以把根目录下的所有文件和目录显示出来，代码如下

final String pathString = "/";

final FileStatus[] listStatus = fs.listStatus(new Path(pathString));

for (FileStatus fileStatus : listStatus) {

final String type = fileStatus.isDir()?"目录":"文件";

final short replication = fileStatus.getReplication();

final String permission = fileStatus.getPermission().toString();

final long len = fileStatus.getLen();

final Path path = fileStatus.getPath();

System.out.println(type+"t"+permission+"t"+replication+"t"+len+"t"+path);

}

调用listStatus方法会得到一个指定路径下的所有文件和文件夹，每一个用FileStatus表示。使用for循环显示每一个FileStatus对象。FileStatus对象表示文件的详细信息，里面含有类型、副本数、权限、长度、路径等很多信息，我们只是显示了一部分。

2.6）删除文件或目录，可以删除某个文件或者路径，代码如下

final String pathString = "/d1/f1";

//fs.delete(new Path("/d1"), true);

fs.deleteOnExit(new Path(pathString));

第三行代码表示删除文件“/d1/f1” ，注释掉的第二行代码表示递归删除目录“/d1”及下面的所有内容。

构造一个 RPC server.

@param instance 实例中的方法会被客户端调用

 @param bindAddress 绑定的这个地址用于监听连接的到来

@param port 绑定的这个端口用于监听连接的到来

@param conf the configuration to use

Server server = RPC.getServer( new MyBiz(), SERVER_ADDRESS, SERVER_PORT, new Configuration());

server.start();

           /** 构造一个客户端的代理对象。*/

MyBizable proxy = (MyBizable)RPC.waitForProxy(MyBizable.class,

MyBizable.VERSION, new InetSocketAddress(MyServer.SERVER_ADDRESS, MyServer.SERVER_PORT),new Configuration());

String result = proxy.hello("world");

System.out.println("客户端调用结果："+result);

RPC.stopProxy(proxy);