Hadoop RPC整个使用流程——以DataNode向NameNode注册为例

ぐ巨炮叔叔 提交于 2019-12-07 15:48:50

Hadoop RPC整个使用流程——以DataNode向NameNode注册为例

在HDFS实现过程中DataNode class中有一个成员变量namenode,其类型是DatanodeProtocol。namenode可以看作是远程NameNode服务器的一个代理,因为NameNode本身也是DatanodeProtocol接口的具体实现;DataNode通过调用namenode对象的方法与远程NameNode进行交互。

下面看一下namenode变量在DataNode当中是如何初始化的:

首先DataNode通过调用RPC.waiForProxy方法完成namenode的初始化过程,具体实现看下面的代码:

this.namenode = (DatanodeProtocol) RPC.waitForProxy(

DatanodeProtocol.class,   DatanodeProtocol.versionID,

    nameNodeAddr, 

            conf);

通过上面的代码可以看出,具体namenode是如何与远程的NameNode进行连接的需要通过查阅RPC.waitForProxy(...)来查看。waitForProxy通过RPC内部的一系列方法调用,最终通过下面的getProxy方法来实现:

public static VersionedProtocol getProxy(

Class<? extends VersionedProtocol> protocol, 

long clientVersion,

InetSocketAddress addr, 

UserGroupInformation ticket,

Configuration conf, 

SocketFactory factory,

int rpcTimeout)throws IOException {

if (UserGroupInformation.isSecurityEnabled()) {

SaslRpcServer.init(conf);

}

VersionedProtocol proxy = (VersionedProtocol)                       Proxy.newProxyInstance(

protocol.getClassLoader(), 

new Class[] { protocol },

new Invoker(protocol, addr, ticket, conf, factory,                      rpcTimeout));

long serverVersion =                                             proxy.getProtocolVersion(protocol.getName(),

clientVersion);

if (serverVersion == clientVersion) {

return proxy;

} else 

        {

throw new VersionMismatch(protocol.getName(),                   clientVersion,

serverVersion);

}

}

上面标注为红色的代码是proxy获取的关键(目前对Java Proxy的具体作用不是很了解。但是据猜测作用应该是这样的,Proxy产生了一个protocol的一个具体对象,但是对该对象所有方法的调用都是通过Invoker中的invoke方法来进行调用,也就是其最终的方法调用是通过Invoker的invoke方法进行实现的),其中Invoker是该方法的关键,我们看一下Invoker的具体实现:

Invoker是InvocationHandler接口的具体实现(Invoker implements InvocationHandler),其中必须实现的方法是:

public Object invoke(Object proxy, Method method, Object[] args)throws Throwable {

final boolean logDebug = LOG.isDebugEnabled();

long startTime = 0;

if (logDebug) {

startTime = System.currentTimeMillis();

}

ObjectWritable value = (ObjectWritable) client.call(new Invocation(

method, args), remoteId);

if (logDebug) {

long callTime = System.currentTimeMillis() - startTime;

LOG.debug("Call: " + method.getName() + " " + callTime);

}

return value.get();

}

invoke方法通过调用client.call方法完成与远程服务器的调用,client是RPC Client的一个实例。RPC Client具体完成与远程服务器通过socket进行交互的功能。

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!