centos6.7 64位 伪分布 安装 cdh5.4.8 + jdk 8

一、安装JAVA
# 创建JAVA的目录
mkdir -p /usr/java 
cd /usr/java
#将下载的rpm包移到此目录
#执行安装
rpm -ivh jdk-8u65-linux-x64.rpm (对应你的rpm)
#增加环境变量
vim /etc/profile
修改profile 最后面加入
export JAVA_HOME=/usr/java/jdk1.8.0_65
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
#保存退出,之后运行
source /etc/profile
#之后运行
update-alternatives --install /usr/bin/java java /usr/java/jdk1.8.0_65/bin/java 60
update-alternatives --config java
#测试java安装
java -version
出现
java version "1.8.0_65"
Java(TM) SE Runtime Environment (build 1.8.0_65-b17)
Java HotSpot(TM) 64-Bit Server VM (build 25.65-b01, mixed mode)
表示安装完成

二、centos 伪分布 安装 cdh5
下载CDH文件
#创建目录,并切换到此目录
mkdir /opt/soft
cd /opt/soft
#下载文件
wget http://archive.cloudera.com/cdh5/one-click-install/redhat/5/x86_64/cloudera-cdh-5-0.x86_64.rpm
#然后使用yum命令在本地安装
sudo yum --nogpgcheck localinstall cloudera-cdh-5-0.x86_64.rpm
开始安装
(Optionally) add a repository key:
$ sudo rpm --import http://archive.cloudera.com/cdh5/redhat/5/x86_64/cdh/RPM-GPG-KEY-cloudera
2.安装Hadoop伪节点模式
$ sudo yum install hadoop-conf-pseudo
启动Hadoop并验证环境
#至此，Hadoop的伪节点安装已经完毕，下面我们就开始做一些配置，并启动Hadoop
#1. 格式化NameNode
sudo -u hdfs hdfs namenode -format
#2.启动HDFS
for x in `cd /etc/init.d ; ls hadoop-hdfs-*` ; do sudo service $x start ; done
此处这样写主要是hadoop 相关的命令在 /etc/init.d/ 里面
为了验证是否启动成功，可以在浏览器里输入地址：http://localhost:50070 (localhost也可更改为ip地址)进行查看
#3.创建/tmp，Staging 以及Log的目录
$ sudo -u hdfs hadoop fs -mkdir -p /tmp/hadoop-yarn/staging/history/done_intermediate
$ sudo -u hdfs hadoop fs -chown -R mapred:mapred /tmp/hadoop-yarn/staging
$ sudo -u hdfs hadoop fs -chmod -R 1777 /tmp
$ sudo -u hdfs hadoop fs -mkdir -p /var/log/hadoop-yarn
$ sudo -u hdfs hadoop fs -chown yarn:mapred /var/log/hadoop-yarn
#运行下面的指令，来查看文件是否建立:
$ sudo -u hdfs hadoop fs -ls -R /
#启动YARN(YARN是MapReduce的升级版)
sudo service hadoop-yarn-resourcemanager start
sudo service hadoop-yarn-nodemanager start
sudo service hadoop-mapreduce-historyserver start
#创建用户目录,为每个MapReduce 用户创建home目录， <user> 替换为你的用户
注意如果你想使用其他用户名比如myuser，那么你需要额外进行如下的操作
---------------------------------------------------------------------
useradd myuser  -- 创建用户
vim /etc/sudoers -- 修改myuser用户的权限
source /etc/sudoers -- 保存修改内容后，重启
su myuser           -- 切换用户
接下来执行下面的操作（若是不想添加下面的<user>用root替换；否则就用新建的用户替换）
---------------------------------------------------------------------
$ sudo -u hdfs hadoop fs -mkdir -p /user/<user>
$ sudo -u hdfs hadoop fs -chown <user> /user/<user>
#测试HDFS
$ hadoop fs -mkdir input
$ hadoop fs -put /etc/hadoop/conf/*.xml input
$ hadoop fs -ls input
若是输出如下内容 恭喜你成功了
-rw-r--r--   1 myuser supergroup       2133 2015-11-08 08:28 input/core-site.xml
-rw-r--r--   1 myuser supergroup       2324 2015-11-08 08:28 input/hdfs-site.xml
-rw-r--r--   1 myuser supergroup       1549 2015-11-08 08:28 input/mapred-site.xml
-rw-r--r--   1 myuser supergroup       2375 2015-11-08 08:28 input/yarn-site.xml