`
085567
  • 浏览: 219454 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

直接使用HADOOP-RPC的编码实例

阅读更多

1、创建接口,该接口类在服务端和客户端都必须有。

public interface Serverif extends VersionedProtocol

2、在服务端实现接口类

public class ServerImpl implements Serverif

3、服务端,使用实现的类启动服务,需要定义监听的IP地址和端口

Server server = RPC.getServer(si, SERVERADDRESS, SERVERPORT, 10, true, conf);

server.start();

4、客户端定义远程连接

InetSocketAddress sa = new InetSocketAddress(SERVERADDRESS, SERVERPORT);

5、客户端使用远程连接,通过接口定义,调用服务端具体实现

Serverif si = (Serverif) RPC.getProxy(Serverif.class, versionID, sa, conf);

return si.method(args);

 

--Hadoop不断的发展,要跟上步调还是比较累的。光看issue(http://issues.apache.org/jira/browse/MAPREDUCE)看不过来了,所以还是立足一个版本研究透彻比较合适,然后再看bug报告也清晰一些。

 

本文来自CSDN博客,转载请标明出处:http://blog.csdn.net/nuaaqy/archive/2010/01/13/5184089.aspx

分享到:
评论

相关推荐

    Hadoop_RPC详细分析.doc

    * 高性能:Hadoop RPC 使用异步非阻塞的方式来处理客户端的调用请求,从而提高了系统的性能。 * 可扩展性:Hadoop RPC 的架构设计使得它可以很容易地扩展到大规模的分布式系统中。 * 可靠性:Hadoop RPC 使用了多种...

    rpc的一些资料(有例子)

    这份文档可能包含了一些具体的RPC应用实例,通过分析这些案例,读者能更好地理解RPC的工作机制和实际使用中的注意事项。 7. **RPC.rar**: 这是一个RAR压缩文件,可能包含了源代码示例或者更深入的RPC技术讨论,...

    Java学习之IO总结及mina和netty

    - 应用实例:如Hadoop的RPC框架、Twitter、Netflix等大型项目。 文件名"ServerNonblocking.java"和"ClientNonblocking.java"暗示了可能包含非阻塞I/O的服务器和客户端实现。在NIO中,非阻塞模式允许服务器处理多个...

    JVM基础及微服务基础知识大数据技术全栈及面试指南.pdf

    - **编码能力**:具备较强的编码能力和问题解决技巧。 - **沟通技巧**:良好的沟通和团队合作能力。 #### 2. 行业趋势 - **了解新技术**:关注最新的技术发展,如云计算、人工智能等。 - **实践经验**:通过实际...

    04、日志收集系统Flume-flume自定义开发案例.docx

    它包含对 `RpcClient` 的实例,这是 Flume 提供的 API,用于与远程 Flume 代理进行通信。初始化方法 `init` 设置客户端连接,而 `sendDataToFlume` 负责发送事件。在发送失败时,`cleanUp` 方法确保正确关闭客户端...

    Java学习路线.pdf

    - **编码规范:** 遵循一定的编码风格和规范,如 Google 的 Java 编码规范。 - **版本控制:** 使用 Git 等工具进行版本控制,方便多人协作。 **3. 技术博客与分享:** - **撰写博客:** 记录学习过程中的心得...

    18Nov_Serialization.docx

    在Hadoop中,节点间的通信通过远程过程调用(RPC)实现,而RPC协议内部就使用了序列化技术。Hadoop采用了一种自定义的序列化格式——Writables,这种格式紧凑且快速,但扩展性和对非Java语言的支持相对较弱。 `...

    《大数据平台搭建与配置管理》期中试题试卷及答案.docx

    其中的Data字段包含了具体的数据值,这些数据按照列族组织,并经过压缩和编码处理以节省存储空间并提高读取效率。 14. **Storm中的StreamGrouping方式** - **知识点**:Storm中不同的数据流分发策略。 - **详细...

    spark单节点调优

    - `spark.rpc.askTimeout`:RPC请求超时时间,与`spark.network.timeout`配合调整。 - `spark.shuffle.blockTransferService`:选择合适的传输服务,如NIO或Netty,以提高数据传输速度。 7. **垃圾回收** - `...

    提升Spark平台效能.pdf

    8. **网络优化**:调整`spark.network.timeout`和`spark.rpc.askTimeout`等参数,优化网络通信性能,考虑使用RDMA等高速网络技术。 9. **本地模式与集群模式**:根据工作负载选择合适的运行模式,本地模式适用于...

    BaijiSerializer4J:受 Apache Avro 和 Thrift 启发的用于 Java 的 Baiji 序列化器

    Avro 的优点包括动态类型系统、紧凑的二进制编码和内置的远程过程调用(RPC)支持。 Apache Thrift 是 Facebook 开源的跨语言服务开发框架,它同样提供了一种数据序列化机制。Thrift 使用接口定义语言(IDL)来描述...

Global site tag (gtag.js) - Google Analytics