XMaster
- 浏览: 37998 次
- 性别:
- 来自: 北京
-
最新评论
-
XMaster：
java小小菜 写道我发现了和你这个一模一样的帖子，不知道哪一 ...
Hadoop的DistCp异常处理 -
java小小菜：
我发现了和你这个一模一样的帖子，不知道哪一个才是作者https ...
Hadoop的DistCp异常处理 -
di1984HIT：
写的很好啊~
Hadoop的DistCp异常处理
文章列表
Apache Hadoop 2.0.3 发布
Apache Hadoop 2.0.3发布了，在这次版本更新中，主要增加了以下几个特性：
1. 引入一种新的HDFS HA解决方案QJM
之前NameNode HA已经有两种解决方案，分别是基于共享存储区的Backup Node方案和基于Bookeeper的方案， ...
问题：
java.lang.Exception: java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.tez.TezTask. Vertex's TaskResource is beyond the cluster container capability,Vertex=vertex_1517380657411_0232_1_00 [Map 1], Requested TaskResou ...
Stack trace: ExitCodeException exitCode=127
In HADOOP_HOME/libexec/hadoop-config.sh look for the if condition below # Attempt to set JAVA_HOME if it is not set
Remove extra parentheses in the export JAVA_HOME lines as below. Change this
if [ -x /usr/libexec/java_home ]; then
export JAVA_HO ...
yarn-site.xml文件中加上
<property>
<name>yarn.app.mapreduce.am.resource.mb</name>
<value>200</value>
</property>
原因：yarn默认是设置1.5G内存来运行任务，但是虚拟机内存太小，没有1.5G，要改小运行任务内存
---------------------
作者：luxiangzhou
来源：CSDN
原文：https://blog.csdn.net/luxiangzhou/art ...
近来无事，学习学习新技术，安装使用Docker过程中，做为小白边看文档边安装实践，新技术总会遇到新问题，本着好记性不如烂笔头的原则，先一一记录下吧：
问题1：
本人MBP，安装过程很简单，一拉一拽就完成了，然后打开终 ...
程序打成jar包后，放到服务器上去执行，程序能够按预期去正确执行，但看到如下错误还是很不爽：
2014-08-13 17:16:49 [WARN]-[main]-[org.apache.hadoop.hbase.util.DynamicClassLoader] Failed to identify the fs of dir /tmp/hbase-ecm2/hbase/lib, ignored
java.io.IOException: No FileSystem for scheme: file
at org.apache.hadoop.fs.FileSystem.ge ...
HBase默认情况下，只存储3个版本的历史数据。但在实际应用中，可能会有多于3个版本要存储，那么如何在表已建好的情况下，修改默认存储版本数尼，下面为工作记录：
1. 表下线（disable）
hbase(main):004:0> disable 'xls'
0 row(s) in 2.1050 seconds
2. 修改表属性（可指定对哪个列簇进行修改）
hbase(main):005:0> alter 'xls', NAME => 'f2', VERSIONS => 10
Updating all reg ...
一只小兔子（叫小白）有100根胡萝卜，但它现在离家有50米远！唉，可怜的小白一次最多只能搬50根胡萝卜，每走1米就要吃一根胡萝卜（只要动就得吃， 吃货啊！）。。。。。。问小白几只眼睛几条腿（石化中。。。）？ 好啦好啦，问它最多能搬多少萝卜回家？
小白很聪明呢。抱起50根撒丫子就跑，边跑边吃（1根），边吃边放（2根），当跑到16米的时候，手里就剩下2根了，这时，它默默地又向前走了1米（17米），吃了1根，看了看手里剩下的1根，小白插了插口水，忍住了慢慢地把这根胡萝卜放到了地上。
它回头看了看这一路的胡萝卜，在这尽头，还有50根黄灿灿的胡萝卜！说时 ...
mark:HarFileSystem
source:hadoop-common-2.0.0-cdh4.3.0.jar
为了节省NN的元数据，可以将HDFS上的不再变化的小文件归档。Hadoop archives是Hadoop自带的特殊的档案格式。一个Hadoop archive对应一个文件系统目录。 Hadoop archive的扩展名是*.har。Hadoop archive目录结构如下：
NameTypeSize_SUCCESSfile0 B_indexfile599 B_masterindexfile23 Bpart-0file48 B
【说明：】
...
前几天搞测试Hbase的master切换时，当把master挂掉时，配置的backup master并没有自动拉起，搞了好久都没有搞通。查看hbase提供的zookeeper dump 页面（知道是哪不？不知道那就告诉你：http://server88:60010/zk.jsp），也显示没有backup master，信息如下：
HBase is rooted at /hbase
Active master address: server88,60000,1377272127058
Backup master addresses:
...
前言：
之前使用hbase时并没有单独安装zookeeper，直接用了它自带的zookeeper。因为现在要搞hadoop的HA,所以决定单独搞出一套。安装很简单，就简单带过了。
安装：
1. 准备安装包
我使用的是CDH4.3版本，到下面的下载地址找去吧：
http://archive.cloudera.com/cdh4/cdh/4/
下载后解压到一个目录下，自己定吧。
我的：/app/cdh4/zookeeper-3.4.5-cdh4.3.0/
...
想要在运行中的hadoop集中中动态添加或删除节点，肿么办呢？
【准备工作：】
1. 如是添加节点，则需要将所有新增数据节点上的Hadoop环境都已经按已有环境部署完毕（host、ssh等）
2. 需要的配置项：
(1) dfs.hosts 配置存放待上线数据节点名字文件的绝对路径。（俺把所有线上节点都加上去了）
(2) dfs.hosts.exclude 配置存放待下线数据节点名字文件的绝对路径。
3. 具体配置如下：（hdfs-site.xml）
...
CDH4中使用distcp，目前还木有成功，把异常信息记录下
1) Connection Refused
解决：http://wiki.apache.org/hadoop/ConnectionRefused
2)Protocol message end-group tag did not match expected tag
未解决，卡在这了。。。哪位大牛帮助解决下？
折腾了一天，决定搭建两个同版本集群。记录如下：
1）用官方提供的方法执行
$ hadoop distcp hdfs://server86/block/00006DFF hdfs://server ...
详细参见：http://hadoop.apache.org/docs/r0.19.0/distcp.html#cpver
DistCp（分布式复制）是一种hadoop提供的工具，用于大集群间大量数据复制。
基本的用法：
1.DistCp最常见的调用是一个集群之间的拷贝
bash$ hadoop distcp hdfs://nn1:8020/foo/bar \
hdfs://nn2:8020/bar/foo
【Note：】that DistCp expects absolute paths
2.也可以在命令行上指定多个源目录：
bash$ Hadoop ...
阿门！
服务器扩容需要一个能分布式的缓存，不想用主/从式，所以选择了Ehcache，但调试了二天仍然没有实现数据的共享，不管是自动还是手动设置，更多的情况下只是单方面的实现了数据的拷贝，有时候突然就可以了。还没等兴奋劲过了，又不行了。真愁银啊。不想调下去了。换Cassadra，再战！阿门！！！