`
flyPig
  • 浏览: 139809 次
  • 性别: Icon_minigender_1
  • 来自: 成都
社区版块
存档分类
最新评论

Hadoop异常:n must be positive

 
阅读更多
测试HDFS 5000万个文件场景时,看到Datanode的log上不断的报如下异常
11/11/10 00:00:00 ERROR datanode.DataNode: DatanodeRegistration(172.17.1.23:50010, storageID=DS-857985192-202.106.199.37-50010-1320820941090, infoPort=8083, ipcPort=50020):DataXceiver java.lang.IllegalArgumentException: n must be positive         at java.util.Random.nextInt(Random.java:250)         at org.apache.hadoop.hdfs.server.datanode.DataBlockScanner.getNewBlockScanTime(DataBlockScanner.java:284)         at org.apache.hadoop.hdfs.server.datanode.DataBlockScanner.addBlock(DataBlockScanner.java:301)         at org.apache.hadoop.hdfs.server.datanode.DataXceiver.writeBlock(DataXceiver.java:372)         at org.apache.hadoop.hdfs.server.datanode.DataXceiver.run(DataXceiver.java:103)         at java.lang.Thread.run(Thread.java:662)


经过跟踪,发现问题是出在DataBlockScanner内:
    long period = Math.min(scanPeriod, 
                           Math.max(blockMap.size(),1) * 600 * 1000L);
    return System.currentTimeMillis() - scanPeriod + 
           random.nextInt((int)period); 

当BlockMap特别大的时候,比如我这里上传了5000万个文件,每个文件4KB,该数值会大于Integer.MAX 小于Long.MAX,强制转换成int会负数,导致nextInt抛出异常。
该处修改,只需要把
random.nextInt((int)period)
,替换成
random.nextInt(Math.abs((int)period))
即可。

后来又发现Hadoop已经有人提这个bug了,https://issues.apache.org/jira/browse/HDFS-2541
分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics