`
flyPig
  • 浏览: 139655 次
  • 性别: Icon_minigender_1
  • 来自: 成都
社区版块
存档分类
最新评论

Hadoop异常:File /xxx/xxx/xx could only be replicated to 0 nodes, instead of 1

 
阅读更多
测试的时候,出现该异常信息 File /xxx/xxx/xx could only be replicated to 0 nodes, instead of 1

最终确定是ReplicationTargetChooser类的isGoodTarget出来的问题:
if (considerLoad) {
      double avgLoad = 0;
      int size = clusterMap.getNumOfLeaves();
      if (size != 0) {
        avgLoad = (double)fs.getTotalLoad()/size;
      }
      if (node.getXceiverCount() > (2.0 * avgLoad)) {
        logr.warn("Node "+NodeBase.getPath(node)+
                  " is not chosen because the node is too busy");
        return false;
      }
    }


该处会计算该Node的连接数是否大于平均值的2倍,否则返回false.

然后跟踪,发现其中1个Datanode的JVM内存只开了2GB, 扩大到跟其他DN一样的6GB,问题解除。
分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics