RPC和HDFS文件读写(下载上传)过程

75 阅读 0 评论 50 点赞

我是靠谱客的博主无奈奇异果，最近开发中收集的这篇文章主要介绍RPC和HDFS文件读写(下载上传)过程，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

1 RPC

RPC（Remote Procedure Call Protocol）——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。

RPC采用客户机/服务器模式。请求程序就是一个客户机，而服务提供程序就是一个服务器。首先，客户机调用进程发送一个有进程参数的调用信息到服务进程，然后等待应答信息。在服务器端，进程保持睡眠状态直到调用信息到达为止。当一个调用信息到达，服务器获得进程参数，计算结果，发送答复信息，然后等待下一个调用信息，最后，客户端调用进程接收答复信息，获得进程结果，然后调用执行继续进行。

Hadoop的整个体系结构就是构建在RPC之上的。(见org.apache.hadoop.ipc)

RPC示例程序：

（1）接口

package captain.hadoop.rpc;
//RPC服务器端所需实现的自定义接口，其中包含了服务器端远程方法在该接口中的抽象方法，以及一个版本号属性。
public interface Bizable {
public static final long versionID = 1000010;
public String sayHi(String name);
}

（2）服务端

package captain.hadoop.rpc;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC;
import org.apache.hadoop.ipc.Server;
//RPC的服务器端，其底层实际是使用的socket通信。
public class RPCServer implements Bizable {
//一个远程方法。需要在该类所实现的自定义接口中声明为抽象方法并在该类中实现该方法。
public String sayHi(String name){
return "Hi, " + name;
}
public static void main(String[] args) throws Exception {
//得到服务器对象。注意使用了RPC类的内部类Builder及其方法。
Server server = new RPC.Builder(new Configuration()).setProtocol(Bizable.class).setInstance(new RPCServer()).setBindAddress("192.168.1.9").setPort(5555).build();
//开启服务器
server.start();
}
}

（3）客户端

package captain.hadoop.rpc;
import java.net.InetSocketAddress;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC;
//RPC的客户端，其底层实际是使用的socket通信。
public class RPCClient {
public static void main(String[] args) throws Exception {
//得到代理对象。注意使用了RPC类的getProxy方法。
Bizable proxy = RPC.getProxy(Bizable.class, 1000010, new InetSocketAddress("192.168.1.9",5555), new Configuration());
//使用代理对象调用远程方法
String result = proxy.sayHi("kellie");
System.out.println(result);
//停止代理
RPC.stopProxy(proxy);
}
}