Hadoop的DistCp异常处理

CDH4中使用distcp，目前还木有成功，把异常信息记录下

1) Connection Refused
        解决：http://wiki.apache.org/hadoop/ConnectionRefused
2)Protocol message end-group tag did not match expected tag
        未解决，卡在这了。。。哪位大牛帮助解决下？

折腾了一天，决定搭建两个同版本集群。记录如下：
1）用官方提供的方法执行
$ hadoop distcp hdfs://server86/block/00006DFF hdfs://server93/block/dest
        异常：
java.net.ConnectException: Call From server93/*.*.*.93 to server86:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

        Connection Refused，查看下8020并没有被占用，可能是端口的问题。试下别的端口（反正不太懂，瞎搞呗。）
2）$hadoop distcp hdfs://server86:50070/block/00006DFF hdfs://server93:49000/block/dest
        异常：
java.io.IOException: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.; Host Details : local host is: "server93/*.*.*.93"; destination host is: "ecmserver":50070;
        这。。。再改！

3）$ hadoop distcp hftp://server86:50070/block/00006DFF hdfs://server93:49000/block/dest
        日志：
13/08/23 11:03:17 INFO mapreduce.Job:  map 0% reduce 0%
13/08/23 11:03:29 INFO mapreduce.Job:  map 100% reduce 0%
13/08/23 11:04:12 INFO mapreduce.Job: Job job_1377225445725_0001 completed successfully
        成功了！兴奋暴走中。。。
        【注：】93中block目录必须存在，复制时如不存在会报错地。复制完成后，93上的dest就是86上的00006DFF
        问题来了，hftp:// 是跨版本集群之间用的协议，那我这两集群版本相同，那应该可以用hdfs:// 啊。试下

4）$ hadoop distcp hdfs://server86:49000/block/00006DFF hdfs://server93:49000/block/00006DFF
        日志：
13/08/23 11:09:36 INFO mapreduce.Job:  map 0% reduce 0%
13/08/23 11:09:46 INFO mapreduce.Job:  map 100% reduce 0%
13/08/23 11:10:40 INFO mapreduce.Job: Job job_1377225445725_0002 completed successfully
        成功了！！兴奋暴走中。。。。。。

5）试完了具体文件，再试下复制目录吧。
$ hadoop distcp hdfs://server86:49000/block/ hdfs://server93:49000/block/
        日志不打了。也成功了。86上block目录下所有文件全部被复制到93的block/block下。也就是说把86上的block目录也一并拿过来了。

6）异常情况未测试，待定。。。

【总结：】
        复制单个文件3.95G大小 ： 1分12秒
        复制目录（目录下3个3.95G文件）：3分37秒
        平均：4M/s

评论

3 楼 XMaster 2017-10-30  

java小小菜 写道

我发现了和你这个一模一样的帖子，不知道哪一个才是作者https://www.iyunv.com/thread-310185-1-1.html

看下时间就知道谁是作者喽，cp很不负责啊，也不写上引用自我处，也给我拉拉流量 。

2 楼 java小小菜 2017-09-26  

我发现了和你这个一模一样的帖子，不知道哪一个才是作者https://www.iyunv.com/thread-310185-1-1.html

1 楼 di1984HIT 2014-08-18  

写的很好啊~