Taoo
- 浏览: 293848 次
- 性别:
- 来自: 北京
-
最新评论
-
白Rime：
楼主在吗，我在装 libxml2 时，出现该问题，有些地方还是 ...
python安装是 -fPIC问题的解决 -
yeelor：
$./configure --prefix=/usr/loca ...
python安装是 -fPIC问题的解决 -
yeelor：
$./configure --prefix=/usr/loca ...
python安装是 -fPIC问题的解决 -
fuzzball：
bo_hai 写道楼主的办法解决我了的问题。给你32个 兄弟有 ...
python安装是 -fPIC问题的解决 -
fuzzball：
silent1 写道编译ganglia的时候出现此问题，按楼主 ...
python安装是 -fPIC问题的解决
文章列表
zookeeper安装很简单：
1，解压；
2，配置zoo.cfg
3，设置myid
然后就是启动了。
具体内容，网上很多，也没什么特别的。
需要注意的是：
1，myid就是zoo.cfg里面的server.x=ip：A：B中的x。
2，如果hbase不管理zookeeper情况下，需要设置hbase-env.sh里面的export HBASE_MANAGES_ZK设置为false。
3，hbase管理zookeeper进程，和独立的zookeeper进程名字是不一样的。
引用
HQuorumPeer进程是hbase管理的zookeeper
QuorumPeerMain进程就是zookeepe ...
其实不是那么难，但是各种小问题搞了我一天。
1，确认你的机器安装了以下工具，可以通过yum安装：
yum install xxxxx
引用automake
autoconf
libtool
这些工具，是编译hadoop源码是需要用到的。
这一点狠狠很重要
2，下载，安装ant
下载 ...
幸幸苦苦安装好了新版hadoop，
然后辛辛苦苦调通，可以跑mr了。
然后用distcp从1.0.3的集群拷数据到2.0.1的集群中。
首先是由于版本不同，不能用hdfs协议直接考，需要用http协议。
即不能用 distcp hdfs://src:54310/foo hdfs://dst:54310/
而要用 distcp hftp://src:50070/foo hdfs://dst:54310/
注意端口号哦。
然后，要在目的集群上执行该命令，也就是在2.0.1的集群上执行。
最后，尼玛碰到一个checksum mismatch的错误。
Caused by: java ...
hadoop 2.0.1配置纪要
- 博客分类：
- hadoop
折腾了一天一夜。
到运行mr任务时卡住了，一直报错，说找不到hadoop的Congfiguration类。
我尝试把hadoop包也打到运行的jar里面，尝试，有报错找不到其他的类。
反正问题就是，application运行时，找不到相应的jar包。
折腾了整整一晚上，最后搞定，说实话，我都不知道是改了哪里搞定的。
注意一点，系统环境变量/etc/profile，hadoop-env.sh。yarn-env.sh，这三个东西都要加上如下的配置：
export HADOOP_PREFIX=/usr/lib/hadoop-2.0.1-alpha
export JAVA_HOM ...
折腾 elephant-bird
- 博客分类：
- pig lzo
https://github.com/kevinweil/elephant-bird
在hadoop集群上配lzo压缩。
然后想在pig中应用，搜了一圈，发现需要安装elephant-bird。
好吧，继续折腾。
等等，貌似不需要折腾elephant-bird，
http://code.google.com/p/hadoop-gpl-packing/
这个网页，using in pig里面有介绍怎么pig lzo
一，
执行hiveAction除了需要配置oozie.hive.defaults外，还需要配置几个hive的参数。
这点我不是很理解，以为只要在hive-site.xml里面配置了，就完事了，结果不行，还需要单独配置，而且oozie.hive.defaults不配置还不行。
配置如下：
<property>
<name>oozie.hive.defaults</name>
<value>my-hive-default.xml</value>
</property>
<property&g ...
===============================
问题分析：
oozie执行action时锁涉及到的jar包，都是用的oozie.libpath指定的sharelib路径中的jar包。
而pig和hive都依赖了antlr-x.x.x.jar。
最要命的是，他们两个还依赖的是不同版本的antlr。
我用的是pig-0.10.0和hive-0.8.1。
pig的jar包中，包含了antlr的runtime包，得先把这个删除。
然后，pig和hive的jar里面都没有antlr了。
pig兼容antlr-3.4-complete.jar.
hive兼容antlr-3.0.1. ...
这个问题，搞了整整三天。
都想骂娘了。
由于是尼玛oozie调用mapreduce调用sqoop然后调用hive，关系比较复杂。
所以错误定位搞了好久。
症状描述：
用oozie调用sqoop，将数据表从mysql直接导入到hive的过程中。
全部过程都能执行完毕，数据也导进去了。
但是，那个oozie的job的结果显示是killed的。当然咯，那个action节点的结果也显示是failed的。
问题定位：
最后问题找到了，应该是sqoop的一个bug。
sqoop的org.apache.sqoop.hive.HiveImport类中，
引用了一个com.cloudera.sqoop ...
oozie 扩展与配置相关
- 博客分类：
- oozie
折腾了好久好久好久的oozie，
现在暂时算是能够用起来了。
主要讲两点吧：
一，部署相关
二，运行相关
-----------------------------
一，部署相关
oozie用的版本是oozie-3.1.3-incubating，不知道为什么，从3.0起，oozie不支持sqoopAction和HiveAction了。
为了能够执行这两种Action，对他的jar包进行了些修改。
1，编译HiveAction和SqoopAction相关的类。
一共有四个类：HiveAction.java, HiveMain.java, SqoopAction.java, SqoopMain ...
hive中应用lzo
- 博客分类：
- hive lzo
在建表的时候，进行两个设置：
STORED AS INPUTFORMAT "com.hadoop.mapred.DeprecatedLzoTextInputFormat"
OUTPUTFORMAT "org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat"
然后，基本上就是透明操作hive了。
http://blog.csdn.net/jiedushi/article/details/7352512
以下内容为转载：
1,确保创建索引
$HADOOP_HOME/bin/hadoop ...
pig用上lzo的相关配置
- 博客分类：
- pig lzo
转载：http://stackoverflow.com/questions/7277621/how-to-get-pig-to-work-with-lzo-files
还没有试过。
----------------------
I recently got this to work and wrote up a wiki on it for my coworkers. Here's an excerpt detailing how to get PIG to work with lzos. Hope this helps someone!
NOTE: This is written with ...
oozie安装问题
- 博客分类：
- hadoop oozie
在cdh3u3版本上安装后，按照官方文档的配置方法，轻松搞定。
http://incubator.apache.org/oozie/QuickStart.html
其中，要注意以下几点：
1，运行命令：
bin/oozie-setup.sh -hadoop 0.20.2 ${HADOOP_HOME} -extjs /tmp/ext-2.2.zip时，首先
版本号用的是0.20.2。
2，ext-2.2.zip的版本一定是2.2的，且不是Ext-2.2.zip，一定用小写的那个包。（google code啥样下载的那个Ext-2.2.zip不行）
使用bigtop方式安装的hadoop和oo ...
hadoop lzo配置
- 博客分类：
- hadoop
这个东西，看来很复杂，网上一搜很多资料。
总的来说就是
一，需要编译hadoop lzo部分的代码，然后添加到hadoop lib里面。
二，然后在core-site.xml、mapred-site.xml、hadoop-env.sh里面加几个参数，
三，重启集群就ok了。
虽然看上去就三步，不过编译hadoop lzo部分的代码还是有点小麻烦的。
现在主要记录下这块把。
说明：
a，yum install lzo-devel.x86_64
b。部署编译好的库文件
c，修改配置文件
这三个是要在每个节点上执行的。
其他的都是为了编译做准备，只需要在一台机器上执行就行了。
具体过程如下： ...
我是来骂娘的。
ORACLE
表名，用户名，在查询、修改等等等操作时，一定要大写啊要大写。
你妹的。
搞了一下午加一晚上。
无意中在cloudera网站上看到的bigtop介绍：
http://www.cloudera.com/blog/2012/04/apache-bigtop-0-3-0-incubating-has-been-released/
Apache Bigtop 0.3.0 (incubating) is now available. This is the first fully integrated, community-driven, 100% Apache Big Data management distribution based on Apache Hadoop 1.0. In addi ...