虚拟机下linux+java+hadoop+hive环境搭建

最近在接触hadoop的项目，把总结出的配置方法写出来纪念一下，也方便后来人快速玩转hadoop。

首先在虚拟机中安装linux，我是用的redhad，然后装jdk：http://yushan.javaeye.com/blog/261148，接下来是关键部分：

一、hadoop安装：下载release版本hadoop0.20.1，解压到/home/hadoop/ 。

1.命令行下运行

#mkdir input cp conf/*.xml input
bin/hadoop jar build/hadoop-0.16.0-dev-examples.jar grep input output 'dfs[a-z.]+'
#cat output/*

2.修改conf/hadoop-site.xml文件

fs.default.name
localhost:9000


mapred.job.tracker
localhost:9001


dfs.replication
1
<!-- set to 1 to reduce warnings when <br />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; running on a single node -->

3.修改ssh权限：

#ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
#cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

4.初始化并启动各节点：

#bin/hadoop namenode -format

#bin/start-all.sh

二、安装ant

ant为编译工具，用来编译hive源代码。

解压到/home/apache-ant1.7.1

修改/etc/profile文件添加如下行（各软件版本自行调整）：

export ANT_HOME=/home/hadoop/apache-ant-1.7.1
export JAVA_HOME=/usr/java/jdk1.6.0_10
export HADOOP_HOME=/home/hadoop/hadoop-0.20.1
export JAVA_BIN=/usr/java/jdk1.6.0_10/bin
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$ANT_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BIN PATH CLASSPATH

运行#source /etc/profile

#ant

显示

Buildfile: build.xml does not exist!
Build failed

ant安装完毕！

三、安装hive

未完待续。。。