`
奔跑的羚羊
  • 浏览: 576838 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Cloudera 局域网安装部署

阅读更多
集群部署在局域网内部,与外网隔离开来。

第一步,下载安装包和相关文件。
   其实 cloudera 就有一个 yum源,查看一下http://archive.cloudera.com/redhat/cdh/3/ ,yum源的结构就很清晰了。
  
wget -mc http://archive.cloudera.com/redhat/cdh/3/ 

   在当前文件夹下就有一个archive.cloudera.com的文件夹。
  
第二步,配置本地源。
  
mkdir /var/www/html/cloudera-hadoop 
   cp -r archive.cloudera.com/redhat/cdh/3 /var/www/html/cloudera-hadoop

   这里是将对应的安装包和文件考到 web 目录下。
   注意这里需要使用的 httpd 服务,没开启服务的话,使用service httpd start开启,没有apache软件的话,使用 sudo yum install apache安装。

这里补充一点,其实不需要使用wget -mc全部下载,
只需要将repodata目录的全部,和需要使用的rpm包。按照原来的路径放置


第三步,集群yum配置
在集群的机器/etc/yum.repos.d/目录下,新建文件cloudera-cdh3.repo
[cloudera-cdh3]
name=Cloudera's Distribution for Hadoop, Version 3
baseurl=http://10.10.224.109/cloudera/3/ 
gpgcheck=0
enabled=1


第四步,准备
   安装jdk,需要使用1.6以上版本,而且必须是rpm包
   这里使用的是jdk-6u24-linux-amd64.rpm

如果不是jdk1.6以上版本,或者rpm包,就会报错
error: Failed dependencies:
    jdk >= 1.6 is needed by hadoop-0.20-0.20.2+320-1.noarch.rpm



第五步,安装cloudera
1.安装hadoop主文件
yum install hadoop-0.20
2.安装hadoop相关配置
yum install hadoop-0.20-<daemon type>
类型列表:
namenode
datanode
secondarynamenode
jobtracker
tasktracker

# yum install hadoop-0.20-sbin
# yum install hadoop-0.20-native

第六步,指定配置文件
1.显示出当前使用的配置文件
# alternatives --display hadoop-0.20-conf

hadoop-0.20-conf - 状态是自动。
链接目前指向 /etc/hadoop-0.20/conf.empty
/etc/hadoop-0.20/conf.empty - 优先度 10
当前“最佳”版本是 /etc/hadoop-0.20/conf.empty。

2.创建自己的配置文件

# cp -r /etc/hadoop-0.20/conf.empty /etc/hadoop-0.20/conf.my_cluster


3.设置使用自己的配置文件(优先度50)
# alternatives --install /etc/hadoop-0.20/conf hadoop-0.20-conf /etc/hadoop-0.20/conf.my_cluster 50


4.根据自己的习惯,调整优化配置文件


5.拷贝配置文件,到机器的所有机器
/etc/hadoop-0.20/conf.my_cluster
scp -rp master:/etc/hadoop-0.20/conf.my_cluster  /etc/hadoop-0.20/conf.my_cluster

6.在所有机器,添加alternative rules
# alternatives --install /etc/hadoop-0.20/conf hadoop-0.20-conf /etc/hadoop-0.20/conf.my_cluster 50


第七步,启动hadoop
1.格式化Namenode
$ sudo -u hdfs hadoop namenode -format


2.开机自动启动
$ sudo chkconfig hadoop-0.20-namenode on
$ sudo chkconfig hadoop-0.20-jobtracker on
$ sudo chkconfig hadoop-0.20-secondarynamenode on
$ sudo chkconfig hadoop-0.20-tasktracker on
$ sudo chkconfig hadoop-0.20-datanode on


3.手工启动
$ sudo service hadoop-0.20-namenode start
$ sudo service hadoop-0.20-jobtracker start
$ sudo service hadoop-0.20-secondarynamenode start
$ sudo service hadoop-0.20-tasktracker start
$ sudo service hadoop-0.20-datanode start



第七步,优化配置文件

1.创建dfs.name.dir目录
$ sudo mkdir -p /data/dfs/nn/1 /data/dfs/nn/2


2.创建dfs.data.dir目录
$ sudo mkdir -p /data/dfs/dn/1 /data/dfs/dn/2 /data/dfs/dn/3 /data/dfs/dn/4


3.创建mapred.local.dir目录
$ sudo mkdir -p /data/mapred/local/1 /data/mapred/local/2 /data/mapred/local/3 /data/mapred/local/4


4.修改dfs.name.dir 和 dfs.data.dir目录的user为hdfs
$ sudo chown -R hdfs:hadoop /data/dfs/nn/1 /data/dfs/nn/2 /data/dfs/dn/1 /data/dfs/dn/2 /data/dfs/dn/3 /data/dfs/dn/4


5.修改mapred.local.dir目录的user为 mapred:
$ sudo chown -R mapred:hadoop /data/mapred/local/1 /data/mapred/local/2 /data/mapred/local/3 /data/mapred/local/4


6.在HDFS上创建mapred.system.dir目录,user为mapred
$sudo -u hdfs hadoop fs -mkdir /mapred/system
$sudo -u hdfs hadoop fs -chown mapred /mapred/system


7.修改conf/hdfs-site.xml文件,添加dfs.name.dir 和dfs.data.dir


8.修改conf/mapred-site.xml文件,添加mapred.local.dir 和mapred.system.dir

目录最终的权限和user
Directory Owner Permissions (see Footnote 1)
dfs.name.dir hdfs:hadoop drwx------
dfs.data.dir hdfs:hadoop drwx------
mapred.local.dir mapred:hadoop drwxr-xr-x
mapred.system.dir mapred:hadoop (see Footnote 2)




测试
新建目录
sudo -u hdfs hadoop fs -mkdir input
sudo -u hdfs hadoop fs -put /etc/hadoop/conf/*.xml input
sudo -u hdfs hadoop fs -ls input

执行
sudo -u mapred hadoop-0.20 jar /usr/lib/hadoop-0.20/hadoop-*-examples.jar wordcount /user/mapred/input /user/mapred/output

0
3
分享到:
评论
2 楼 heipark 2011-09-13  
这个不需要ssh无密码配置吗?
1 楼 heipark 2011-09-13  
兄弟我想问一下,使用cloudera的配置方式和hadoop默认的配置方式有什么优势吗?

相关推荐

    Cloudera Manager安装部署

    Cloudera Manager安装部署.pdf

    cloudera 安装部署手册

    cloudera 安装部署手册 和base、solr运维

    Cloudera安装部署集群搭建+yum本地源+数据库操作实例

    ### Cloudera安装部署集群搭建+yum本地源+数据库操作实例 #### 一、Hadoop集群搭建概述 本文档详细介绍了如何在四台闽商云服务器上构建一个Hadoop集群,并且涵盖了yum本地源的配置及数据库操作实例等内容。本案例...

    Ubuntu14.04在线安装Cloudera Manager集群部署

    ### Ubuntu14.04在线安装Cloudera Manager集群部署 #### 一、环境准备与基础知识 在开始之前,我们先来了解下整个部署过程所涉及的一些基础概念和技术要点。 - **Ubuntu 14.04**: 一种广泛使用的开源操作系统,...

    Cloudera Hadoop 安装指南

    Cloudera Hadoop安装指南是为那些希望在自己的环境中部署并运行Cloudera Hadoop软件的用户提供的一份详细手册。该文档包含了从准备环境到完成安装的所有步骤,旨在帮助用户顺利地搭建起一个稳定、高效的Hadoop集群。...

    cloudera 6.3部署手册+离线包下载

    本资源为cloudera 6.3 的部署学习,部署内容可选Kerberos选项。并且提供部署资源包的网盘下载地址,资源包如下。 资源内容: CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel.sha1 ...

    cloudera manager 安装cdh 搭建大数据集群,详细讲解核心

    Cloudera Manager 安装 CDH 搭建大数据集群核心知识点 一、Cloudera Manager 安装方法 Cloudera Manager 安装 CDH 集群有多种方法,主要分为 Server 端和 Agent 端安装。 1. Server 端安装: * 使用 yum 安装 cm...

    Cloudera_5部署和教程

    Cloudera Manager是CDH部署和管理的关键工具,它提供了一个直观的图形用户界面,简化了集群的安装、配置和监控。在《CLOUDERA-Manager-中文手册.pdf》中,你可以找到关于如何使用Cloudera Manager的详细步骤。以下是...

    大数据部署离线安装CDH操作指南(环境准备+Cloudera manager安装+CDH部署)

    ### 大数据部署离线安装CDH操作指南 #### 环境准备 为了搭建一个稳定的大数据平台,首先需要准备好必要的硬件资源。本指南基于三台机器进行部署: - **cdh1**:作为CM Server及DB Server,内存至少6GB。 - **cdh2...

    ClouderaManager平台部署架构与规划

    Cloudera Manager是一个企业级的部署工具,用于管理Apache Hadoop集群,以及包括Cloudera发行版(CDH)中包含的一系列大数据组件。在进行Cloudera Manager平台的部署架构与规划时,首先需要了解其软件体系结构。...

    cloudera平台部署架构建议

    ### Cloudera平台部署架构建议 #### 一、概述 Cloudera平台是业界领先的开源大数据解决方案之一,它集成了大量的大数据技术栈,为用户提供了一站式的数据分析与处理能力。本文将详细介绍Cloudera平台的软件体系...

    Cloudera Manager双机部署操作手册.docx

    本文档旨在详细介绍如何在 SuSE 11 SP3 操作系统上通过 YaST2 工具实现 Cloudera Manager 的双机部署,包括安装准备、添加软件源、安装双机软件、配置集群通信地址等关键步骤。 #### 二、双机安装 ##### 2.1 安装...

    cloudera CHD安装教程(新).pdf

    Cloudera CHD安装教程(新),老师下发的培训机构一手资料,Cloudear集群安装文档,本人已经测,可成功安装。

    cloudera-manager安装指导

    ### Cloudera Manager 安装指导 #### 一、系统准备与环境配置 在开始Cloudera Manager的安装之前,我们需要确保系统环境已经准备好。本文档将指导您完成CentOS 6.5系统的安装和配置。 **操作系统选择:** 推荐...

    大数据集群cloudera CDH安装手册

    大数据集群 cloudera CDH 安装手册 在服务器上安装CDH的实验 亲测可用

    Cloudera CDH 安装和配置文档

    Cloudera Manager是管理Hadoop集群的工具,其安装是CDH部署过程中极其重要的一步。 #### 3.5 安装CDH节点 集群中的每个节点都需要安装CDH,以便它们能共同协作作为Hadoop集群。 ### 第4章 高可用配置 #### 4.1-...

    cdh7.5 cloudera manager 安装全套软件和视频推荐

    ### CDH7.5 Cloudera Manager 安装全套软件及视频推荐知识点解析 #### 一、Cloudera Data Platform (CDP) 概述 根据所提供的内容,“CDH7及以上版本已经更名为CDP”,这表明Cloudera对其产品线进行了调整。Cloudera...

    大数据平台CDH6.2.0安装部署

    大数据平台CDH6.2.0安装部署是指使用Cloudera Manager 6.2.0版本安装和部署大数据平台的过程。该过程包括安装Cloudera Manager Server、配置MySQL数据库、部署CDH Parcel文件、配置Cloudera Manager Agent等步骤。 ...

    大数据管理与监控:Cloudera Manager:ClouderaManager安装与配置.docx

    大数据管理与监控:Cloudera Manager:ClouderaManager安装与配置.docx

Global site tag (gtag.js) - Google Analytics