hdaoop2.x (CDH4、5)下使用DFS Client（包含HA）

一、不使用HA场景

1.1 获取FileSystem（下称FS）方法一：

 

FileSystem fs = FileSystem.get(URI.create("hdfs://<nn_ip>:<nn_port>"), new Configuration());

 

1.2 获取FS方法二（★推荐）：

Configuration conf = new Configuration();			
conf.set("fs.default.name", "hdfs://<nn_ip>:<nn_port>");
FileSystem fs = FileSystem.get(conf);

 

 

二、Hadoop2.x(CDH4)不配置HA场景

2.1 连接单台NN

    使用方式和1.2的代码是完全一样的，不需要任何代码变更。

 

三、Hadoop2.x(CDH4)使用HA场景

3.1 连接单台NN

    使用方式和1.2的代码是完全一样的，不需要任何代码变更。

 

3.2 使用nameservices，并支持自动切换，这里有两种方法：

方法一：使用配置文件

 

• 使用1.2配置，"fs.default.name"配置为你的nameservices名称，如："hdfs://venice"
• 将线上core-site.xml和hdfs-site.xml放到你项目配置文件目录，如conf，确保程序运行后，这个目录会被加载到classpath，特别注意，要添加如下配置到你的hdfs-site.xml文件，否则NN失败不会切换：

  <property>
    <name>dfs.client.failover.proxy.provider.<your_nameservices></name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>

 

方法二：代码嵌入配置

• 使用1.2配置方式，并设置如下值：
• fs.default.name（hadoop2.0兼容1.0该配置项名称，也可使用"fs.defaultFS"）
• dfs.nameservices
• dfs.ha.namenodes.<your_nameservices>
• dfs.namenode.rpc-address.<your_nameservices>.xxx
• dfs.namenode.rpc-address.<your_nameservices>.yyy
• dfs.client.failover.proxy.provider.<your_nameservices>

HA配置总结

    方法一的优点是不需要修改代码，缺点是要维护配置文件，方法二要修改系统代码，但不需要维护配置文件

 

-end

 

 

评论

2 楼 sdboy206206 2015-05-07  

hadoop 升级后，api侧发生改变，用【方法一：使用配置文件】解决了我的问题。

1 楼 di1984HIT 2014-06-20  

不错。不错。