zuochanxiaoheshang
- 浏览: 8015 次
-
最新评论
文章列表
NameNode管理界面：http://namenode:50070
JobTracker管理界面：http://jobtracker:50030
Hadoop守护进程日志存放目录：可以用环境变量${Hadoop_LOG_DIR}进行配置，默认情况下是${HADOOP_HOME}/logs
1．配置类型节点的环境变量
在配置集群的时候可以在conf/hadoop-env.sh配置不同节点的环境变量：
Client以数据块（Block）为单位进行数据存储。按照我们一般的理解，Client向HDFS写入数据，首先需要向NameNode申请Block；申请Block完成后，申请DataNode（包括备份存储的DataNode）；二者完成后，Clent进行与DataNode之间的数据存储。
我们知道NameNode之中维护两张非常重要的表，一张是filename→blocks的映射；另外一张是block→machinelist的映射。如果是我进行设计，这两张表都可以在申请的时候完成记录。HDFS
在HDFS实现过程中DataNode class中有一个成员变量namenode，其类型是DatanodeProtocol。namenode可以看作是远程NameNode服务器的一个代理，因为NameNode本身也是DatanodeProtocol接口的具体实现；DataNode通过调用namenode对象的方法与远程NameNode进行交互。 下面看一下namenode变量在DataNode当中是如何初始化的： 首先DataNode通过调用RPC.waiForProxy方法完成namenode的初始化过程，具体实现看下面的代码：this.namenode = (DatanodeProtoc ...