Hadoop中map reduce和client共享数据源的方式

需求：

hadoop执行mr job的时候需要在map reduce 以及client三处相互共享数据比如在map某阶段设置一个标记位让reduce知道。

方案：

1.由于Configuration在client提交之后修改就无效了，因此不能基于Configuration来实现，那么可以通过三份数据源来实习比如db file等

2.基于hdfs

实现：

基于hdfs写文件实现，核心代码如下：

client read操作：

Path flagPath = new Path("/hadoop/flag");
if (hdfs.exists(flagPath)) {
	hdfs.delete(flagPath, true);
}
.......your biz.........
boolean isCircleEnd = false;
if (hdfs.exists(flagPath)) {
	FSDataInputStream fdis = hdfs.open(flagPath);
	isCircleEnd = fdis.readBoolean();
	fdis.close();
}

 

其他写操作：

FSDataOutputStream fdos = FileSystem
		.get(context.getConfiguration()).create(
				new Path("/hadoop/flag"));
fdos.writeBoolean(true);
fdos.flush();
fdos.close();