hadoop文件接口FileInputFormat中split计算方法

在FileInputFormat map操作中有一块非常中的split的算法 ，

以wordcount为例子，他到底是如果做分片的，我们如何来调优呢，

首先我们来看下他的算法：

在FileInputFormat    public List<InputSplit> getSplits(JobContext job)  中计算 分片大小用到的几个数据我么先来看一下：

 

// 主要以来配置中的 值，缺省为 1 ；

long minSize = Math.max(getFormatMinSplitSize(), getMinSplitSize(job));

protected long getFormatMinSplitSize() {
    return 1;
  }

public static long getMinSplitSize(JobContext job) {
    return job.getConfiguration().getLong(SPLIT_MINSIZE, 1L);
  }

public static final String SPLIT_MINSIZE = 
    "mapreduce.input.fileinputformat.split.minsize";

这里  mapreduce.input.fileinputformat.split.minsize 在 /mapred-default.xml 的配置主哦功能默认是 0  ，所以getMinSplitSize 返回缺省值 1 ；

而 getFormatMinSplitSize  返回值 值也是  1；

通过 Max之后 最后得到的值是1 ；

这里 可以配置的 就是 split.minsize  ，所以这个值如果配置的大于1的话 ，那么 minSize  就是  配置主哦功能的split.minsize了，

 

//默认使用最大值，配置了，就使用配置的值；

long maxSize = getMaxSplitSize(job);

public static long getMaxSplitSize(JobContext context) {
    return context.getConfiguration().getLong(SPLIT_MAXSIZE, 
                                              Long.MAX_VALUE);
  }

 public static final String SPLIT_MAXSIZE = 
    "mapreduce.input.fileinputformat.split.maxsize";

 从代码可以看出来，缺省使用了 Long.MAX_VALUE,如果配置就是用 配置的值，

 

// 在配置文件 file.blocksize  core-default.xml 默认值 给的 64*1024*1024

long blockSize = file.getBlockSize();

 

 

 

long splitSize = computeSplitSize(blockSize, minSize, maxSize);

  protected long computeSplitSize(long blockSize, long minSize,
                                  long maxSize) {
    return Math.max(minSize, Math.min(maxSize, blockSize));
  }

 实际上是取出了  在 block中splitMax中取出一个最小值，在和分块最小值中取出 较大的一个，

 

举个例子：

 加入 wordcount中使用 最小分块 为 3  ，最大分块为 10，blocksize 为默认 67108864

，那么最终结果为  是 10 

但是我们在跑wordcount的时候，我们应该是都没有 设置这写参数，那么应该都是默认值：

minSize:1    maxSize:Long.MAX_VALUE-- 9223372036854775807   blocksize:67108864

最终得到的值即：blocksize:67108864

 

 

那么在 wordcount 如果出现块的大小刚好把一个单词截断了怎么办呢？

待续.............

 

 

这个配置项定义了在HDFS上每个block的大小，它的值是以字节为单位。

可以在配置文件hadoop-site.xml(Hadoop 0.20 以前版本)定义，

也可以在JobConf里定义。hdfs中block size定义是以文件为粒度的。

 hadoop的mapper数基本由输入文件的block数决定，如果输入的block

size不够大，导致mapper处理时间很短(不到一分钟)，大量这样的mapper

会严重降低计算性能。但是如果输入文件都是小文件，就算blocksize再大，每个

文件也会占一个block，这时候要通过合并小文件来减少mapper数，设置blocksize

是没用的。命令行设置块大小可以加参数，0.20以后的用

hadoop fs -D dfs.block.size=134217728 -put local_name remote_location

之前的可以用fs.local.block.size 参数

新版在 dfs.blocksize中设置