集群部署在局域网内部,与外网隔离开来。
第一步,下载安装包和相关文件。
其实 cloudera 就有一个 yum源,查看一下http://archive.cloudera.com/redhat/cdh/3/ ,yum源的结构就很清晰了。
wget -mc http://archive.cloudera.com/redhat/cdh/3/
在当前文件夹下就有一个archive.cloudera.com的文件夹。
第二步,配置本地源。
mkdir /var/www/html/cloudera-hadoop
cp -r archive.cloudera.com/redhat/cdh/3 /var/www/html/cloudera-hadoop
这里是将对应的安装包和文件考到 web 目录下。
注意这里需要使用的 httpd 服务,没开启服务的话,使用service httpd start开启,没有apache软件的话,使用 sudo yum install apache安装。
这里补充一点,其实不需要使用wget -mc全部下载,
只需要将repodata目录的全部,和需要使用的rpm包。按照原来的路径放置
第三步,集群yum配置
在集群的机器/etc/yum.repos.d/目录下,新建文件cloudera-cdh3.repo
[cloudera-cdh3]
name=Cloudera's Distribution for Hadoop, Version 3
baseurl=http://10.10.224.109/cloudera/3/
gpgcheck=0
enabled=1
第四步,准备
安装jdk,需要使用1.6以上版本,而且
必须是rpm包
这里使用的是jdk-6u24-linux-amd64.rpm
如果不是jdk1.6以上版本,或者rpm包,就会报错
error: Failed dependencies:
jdk >= 1.6 is needed by hadoop-0.20-0.20.2+320-1.noarch.rpm
第五步,安装cloudera
1.安装hadoop主文件
yum install hadoop-0.20
2.安装hadoop相关配置
yum install hadoop-0.20-<daemon type>
类型列表:
namenode |
datanode |
secondarynamenode |
jobtracker |
tasktracker |
# yum install hadoop-0.20-sbin
# yum install hadoop-0.20-native
第六步,指定配置文件
1.显示出当前使用的配置文件
# alternatives --display hadoop-0.20-conf
hadoop-0.20-conf - 状态是自动。
链接目前指向 /etc/hadoop-0.20/conf.empty
/etc/hadoop-0.20/conf.empty - 优先度 10
当前“最佳”版本是 /etc/hadoop-0.20/conf.empty。
2.创建自己的配置文件
# cp -r /etc/hadoop-0.20/conf.empty /etc/hadoop-0.20/conf.my_cluster
3.设置使用自己的配置文件(优先度50)
# alternatives --install /etc/hadoop-0.20/conf hadoop-0.20-conf /etc/hadoop-0.20/conf.my_cluster 50
4.根据自己的习惯,调整优化配置文件
5.拷贝配置文件,到机器的所有机器
/etc/hadoop-0.20/conf.my_cluster
scp -rp master:/etc/hadoop-0.20/conf.my_cluster /etc/hadoop-0.20/conf.my_cluster
6.在所有机器,添加alternative rules
# alternatives --install /etc/hadoop-0.20/conf hadoop-0.20-conf /etc/hadoop-0.20/conf.my_cluster 50
第七步,启动hadoop
1.格式化Namenode
$ sudo -u hdfs hadoop namenode -format
2.开机自动启动
$ sudo chkconfig hadoop-0.20-namenode on
$ sudo chkconfig hadoop-0.20-jobtracker on
$ sudo chkconfig hadoop-0.20-secondarynamenode on
$ sudo chkconfig hadoop-0.20-tasktracker on
$ sudo chkconfig hadoop-0.20-datanode on
3.手工启动
$ sudo service hadoop-0.20-namenode start
$ sudo service hadoop-0.20-jobtracker start
$ sudo service hadoop-0.20-secondarynamenode start
$ sudo service hadoop-0.20-tasktracker start
$ sudo service hadoop-0.20-datanode start
第七步,优化配置文件
1.创建dfs.name.dir目录
$ sudo mkdir -p /data/dfs/nn/1 /data/dfs/nn/2
2.创建dfs.data.dir目录
$ sudo mkdir -p /data/dfs/dn/1 /data/dfs/dn/2 /data/dfs/dn/3 /data/dfs/dn/4
3.创建mapred.local.dir目录
$ sudo mkdir -p /data/mapred/local/1 /data/mapred/local/2 /data/mapred/local/3 /data/mapred/local/4
4.修改dfs.name.dir 和 dfs.data.dir目录的user为hdfs
$ sudo chown -R hdfs:hadoop /data/dfs/nn/1 /data/dfs/nn/2 /data/dfs/dn/1 /data/dfs/dn/2 /data/dfs/dn/3 /data/dfs/dn/4
5.修改mapred.local.dir目录的user为 mapred:
$ sudo chown -R mapred:hadoop /data/mapred/local/1 /data/mapred/local/2 /data/mapred/local/3 /data/mapred/local/4
6.在HDFS上创建mapred.system.dir目录,user为mapred
$sudo -u hdfs hadoop fs -mkdir /mapred/system
$sudo -u hdfs hadoop fs -chown mapred /mapred/system
7.修改conf/hdfs-site.xml文件,添加dfs.name.dir 和dfs.data.dir
8.修改conf/mapred-site.xml文件,添加mapred.local.dir 和mapred.system.dir
目录最终的权限和user
Directory | Owner | Permissions (see Footnote 1) |
dfs.name.dir | hdfs:hadoop | drwx------ |
dfs.data.dir | hdfs:hadoop | drwx------ |
mapred.local.dir | mapred:hadoop | drwxr-xr-x |
mapred.system.dir | mapred:hadoop | (see Footnote 2) |
测试
新建目录
sudo -u hdfs hadoop fs -mkdir input
sudo -u hdfs hadoop fs -put /etc/hadoop/conf/*.xml input
sudo -u hdfs hadoop fs -ls input
执行
sudo -u mapred hadoop-0.20 jar /usr/lib/hadoop-0.20/hadoop-*-examples.jar wordcount /user/mapred/input /user/mapred/output
分享到:
相关推荐
Cloudera Manager安装部署.pdf
cloudera 安装部署手册 和base、solr运维
### Cloudera安装部署集群搭建+yum本地源+数据库操作实例 #### 一、Hadoop集群搭建概述 本文档详细介绍了如何在四台闽商云服务器上构建一个Hadoop集群,并且涵盖了yum本地源的配置及数据库操作实例等内容。本案例...
### Ubuntu14.04在线安装Cloudera Manager集群部署 #### 一、环境准备与基础知识 在开始之前,我们先来了解下整个部署过程所涉及的一些基础概念和技术要点。 - **Ubuntu 14.04**: 一种广泛使用的开源操作系统,...
Cloudera Hadoop安装指南是为那些希望在自己的环境中部署并运行Cloudera Hadoop软件的用户提供的一份详细手册。该文档包含了从准备环境到完成安装的所有步骤,旨在帮助用户顺利地搭建起一个稳定、高效的Hadoop集群。...
本资源为cloudera 6.3 的部署学习,部署内容可选Kerberos选项。并且提供部署资源包的网盘下载地址,资源包如下。 资源内容: CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel.sha1 ...
Cloudera Manager 安装 CDH 搭建大数据集群核心知识点 一、Cloudera Manager 安装方法 Cloudera Manager 安装 CDH 集群有多种方法,主要分为 Server 端和 Agent 端安装。 1. Server 端安装: * 使用 yum 安装 cm...
Cloudera Manager是CDH部署和管理的关键工具,它提供了一个直观的图形用户界面,简化了集群的安装、配置和监控。在《CLOUDERA-Manager-中文手册.pdf》中,你可以找到关于如何使用Cloudera Manager的详细步骤。以下是...
### 大数据部署离线安装CDH操作指南 #### 环境准备 为了搭建一个稳定的大数据平台,首先需要准备好必要的硬件资源。本指南基于三台机器进行部署: - **cdh1**:作为CM Server及DB Server,内存至少6GB。 - **cdh2...
Cloudera Manager是一个企业级的部署工具,用于管理Apache Hadoop集群,以及包括Cloudera发行版(CDH)中包含的一系列大数据组件。在进行Cloudera Manager平台的部署架构与规划时,首先需要了解其软件体系结构。...
### Cloudera平台部署架构建议 #### 一、概述 Cloudera平台是业界领先的开源大数据解决方案之一,它集成了大量的大数据技术栈,为用户提供了一站式的数据分析与处理能力。本文将详细介绍Cloudera平台的软件体系...
本文档旨在详细介绍如何在 SuSE 11 SP3 操作系统上通过 YaST2 工具实现 Cloudera Manager 的双机部署,包括安装准备、添加软件源、安装双机软件、配置集群通信地址等关键步骤。 #### 二、双机安装 ##### 2.1 安装...
Cloudera CHD安装教程(新),老师下发的培训机构一手资料,Cloudear集群安装文档,本人已经测,可成功安装。
### Cloudera Manager 安装指导 #### 一、系统准备与环境配置 在开始Cloudera Manager的安装之前,我们需要确保系统环境已经准备好。本文档将指导您完成CentOS 6.5系统的安装和配置。 **操作系统选择:** 推荐...
大数据集群 cloudera CDH 安装手册 在服务器上安装CDH的实验 亲测可用
Cloudera Manager是管理Hadoop集群的工具,其安装是CDH部署过程中极其重要的一步。 #### 3.5 安装CDH节点 集群中的每个节点都需要安装CDH,以便它们能共同协作作为Hadoop集群。 ### 第4章 高可用配置 #### 4.1-...
### CDH7.5 Cloudera Manager 安装全套软件及视频推荐知识点解析 #### 一、Cloudera Data Platform (CDP) 概述 根据所提供的内容,“CDH7及以上版本已经更名为CDP”,这表明Cloudera对其产品线进行了调整。Cloudera...
大数据平台CDH6.2.0安装部署是指使用Cloudera Manager 6.2.0版本安装和部署大数据平台的过程。该过程包括安装Cloudera Manager Server、配置MySQL数据库、部署CDH Parcel文件、配置Cloudera Manager Agent等步骤。 ...
大数据管理与监控:Cloudera Manager:ClouderaManager安装与配置.docx