`
haoningabc
  • 浏览: 1476714 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hadoop ipc

HadoopUMLMyeclipseApacheWindows 
阅读更多
用cygwin在window上装hadoop，做namenode，一台redhat5做datanode
在windows上:
./bin/hadoop namenode -format
./bin/start-all.sh
后，windows上jps
$ jps
3656 Jps
1132 NameNode
3908 SecondaryNameNode
redhat5上jps
[root@122226 tmp]# jps
6193 TaskTracker
6887 Jps
6092 DataNod
似乎是启动了
但是
./bin/hadoop fs -ls
10/12/30 14:30:19 INFO ipc.Client: Retrying connect to server: /192.168.200.18:8888. Already tried 0 time(s).
可能是windows的cygwin对ipc有问题

顺便看一下源码\org\apache\hadoop\ipc中是怎么写的
就是用的nio，上csdn下个NIO+入门+-+IBM+教程.chm看就都有了

用myeclipse
new一个uml1 model，*.umr文件.
File -----> New --------> UML Model Repository 
然后转到MyEclipse UML 视图，然后菜单上点击UML——〉Reverse Engineer UML form java.... 然后把要转换为UML的JAVA文件前面打钩 就可以了。
org.apache.hadoop.ipc.Server为

org.apache.hadoop.ipc.Client为

org.apache.hadoop.ipc.RPC为

引用http://caibinbupt.iteye.com/blog/281281中的一句话“注意，它实现了Writable接口，可以串行化。
RPC.Server实现了org.apache.hadoop.ipc.Server，你可以把一个对象，通过RPC，升级成为一个服务器”
  • 大小: 56.1 KB
  • 大小: 35.2 KB
  • 大小: 23 KB
分享到：
| ubuntu删除virbr0
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    基于Java和Shell语言的Hadoop IPC模块提取与设计源码分析

    本项目深入分析了基于Java和Shell语言的Hadoop IPC模块，包含38个文件，其中21个Java源文件，6个JAR包文件，以及Shell脚本、属性文件、XML配置等辅助文件，旨在提取并设计该模块的核心源码，以增强对Hadoop分布式...

    org.apache.hadoop.ipc.Client: Retrying connect to server

    NULL 博文链接：https://ouyida3.iteye.com/blog/1144326

    hadoop源码阅读总结

    ### Hadoop源码阅读总结：IPC/RPC 通信机制详解 #### 一、概述 Hadoop作为分布式计算框架，其内部各个组件之间的通信主要通过RPC（Remote Procedure Call）实现。本文将详细介绍Hadoop中RPC机制的工作原理，特别是...

    Hadoop源码分析（完整版）

    其中，IPC的实现是Hadoop内部通信的基础，它依赖于Hadoop的io包提供的编解码功能。由于Hadoop的MapReduce和HDFS都需要进行通信和数据传输，因此它们的通信对象需要被序列化。Hadoop并没有使用Java的序列化机制，而是...

    Hadoop client server通讯分析

    《Hadoop客户端与服务器通信详解》 在大数据处理领域，Hadoop是一个不可或缺的名字，它以其分布式计算框架闻名。本文将深入探讨Hadoop客户端与服务器之间的通信机制，帮助读者理解这一核心过程，以便更好地利用和...

    Hadoop源代码分析(完整版).pdf

    * ipc：提供一个简单的 IPC 的实现，依赖于 io 提供的编解码功能。 * io：提供数据的编解码功能。 * net：封装部分网络功能，如 DNS 和 socket。 * security：提供用户和用户组信息。 * metrics：提供系统统计数据的...

    hadoop 1.2.1核心源码

    5. **ipc**: Hadoop的远程过程调用（IPC）层在此，它支持服务端和客户端之间的高效通信。例如，NameNode与DataNode之间的通信就是基于IPC实现的。 6. **net**: 网络相关的组件，如Socket通信、网络地址解析等，都在...

    hadoop api.doc

    5. **org.apache.hadoop.ipc**: 这个包提供了进程间通信（IPC）的基础工具，使得客户端和服务端能通过网络进行异步通信。`Protocol`接口定义了服务端提供的服务，而`RPC`类实现了RPC调用的逻辑。 6. **org.apache....

    Hadoop源码分析 完整版 共55章

    - `ipc`：实现了简单的远程过程调用（IPC）功能，依赖于`io`包中的编解码功能。 - `io`：负责数据的编码/解码，便于网络传输。 - `conf`：用于读取系统的配置参数，依赖于`fs`包中的文件系统功能。 #### 三、...

    Hadoop默认端口清单-防火墙申请使用

    ### Hadoop默认端口清单详解 #### Hadoop概述 Hadoop是一个开源软件框架，用于分布式存储和处理大型数据集。其核心组件包括HDFS（Hadoop Distributed File System）、MapReduce和YARN（Yet Another Resource ...

    HadoopAPI使用

    org.apache.hadoop.ipc 包提供了网络服务端和客户端的工具，用于封装网络异步 I/O 操作。org.apache.hadoop.mapred 包实现了 Hadoop 分布式计算系统（MapReduce）模块，用于大规模数据处理和分析。 org.apache....

    hadoop工具包中的share包

    4. **协议和服务**：share包还包含了Hadoop的各种服务协议，如`IPC`（Inter-Process Communication）协议，这是Hadoop节点间通信的基础。另外，还有诸如NameNode和DataNode之间的通信协议等。 5. **日志和监控**：...

    Hadoop RPC机制分析

    Hadoop的RPC实现主要集中在`org.apache.hadoop.ipc`包下。`ProtobufRpcEngine`和`ReflectionUtils`是关键类，前者负责protobuf协议的序列化和反序列化，后者用于创建服务器实例。在`RPC.Server`中，可以看到对请求的...

    Windows7下eclipse调试Fedora虚拟机的hadoop+hbase伪分布式

    为了确保Hadoop的IPC协议兼容性，Windows7上的Hadoop版本应与Fedora虚拟机中的Hadoop版本保持一致，此处选用的是hadoop-1.2版本。同时，Eclipse版本选择的是Helios Service Release 2。在Fedora系统中，需要特别注意...

    hadoop的优化.docx

    1. 调整 ipc.server.listen.queue.size 参数 可以通过修改 Core-site.xml 文件来实现。 Hadoop 优化需要从多方面入手，包括 Hardware 配置优化、Linux 层面优化、Namenode JVM 参数优化、Mr/Hive 优化和 Core-site...

    Apress - Pro Hadoop

    　HDFS通信部分使用org.apache.hadoop.ipc，可以很快使用RPC.Server.start()构造一个节点，具体业务功能还需自己实现。针对HDFS的业务则为数据流的读写，NameNode/DataNode的通信等。 　MapReduce主要在org.apache....

    hadoop配置文件默认配置

    4. **dfs.datanode.ipc.address**: DataNode的RPC服务器运行在50020端口，处理来自客户端和NameNode的数据请求。 5. **dfs.datanode.http.address**: DataNode的HTTP服务器运行在50075端口，提供数据节点的监控信息...

Magicbox
Global site tag (gtag.js) - Google Analytics