`
lookqlp
  • 浏览: 346095 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

CDH5安装

阅读更多
CDH安装有很多方式:
  • tar包安装,从官网上下载tar包,此种方式类似apache版本hadoop,配置和部署相对来说麻烦。
  • cloudera manager parcels安装,此种方式最方便、最省事,但如果是国内网的话,期间下载包会非常慢,而且每个节点分别下载。建议直接在官网下载rpm包,手动分发到各个节点yum localinstall安装好后,再使用cloudera manager安装管理。当然,如果使用国外网络,例如亚马逊云主机就不用这么麻烦,下载数据超级快。
  • 其他就不多说了,用的少
.
注意:第二种方式,期间可能会遇到很多问题,大部分情况是网络和域名配置不洽淡导致。另外cloudera版本更新很快,内网下载rpm包安装时,还没安装好可能下一个版本就出来了,导致又要重新下载新的rpm...蛋疼

针对上边提到的网络和域名问题,我给出个建议:
官网中提到:http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH5/latest/CDH5-Installation-Guide/cdh5ig_networknames_configure.html,配置好了可能还是有问题,cloudera manager安装各种包时运行失败。建议host配置格式(以centos为例):
/etc/hosts---:ip   xxxnode.yyy.com  xxxnode
hosname------:xxxnode
或者:

/etc/hosts---:ip   xxxnode.yyy.com
hostname------:xxxnode.yyy.com

域名不要有大写和下横杠字符。
绝对不会有问题,有问题找我。。。


下边给出之前写的cdh(国内)安装步骤:
官方文档参见http://www.cloudera.com/content/support/en/documentation.html,主要查看官方文档含有cloudera manager、cdh4.× 、cdh5.×、imapla文档。
下载
官方推荐使用CM包 parcel界面形式下载安装方式,国内下载太慢,所以只能手工下载rpm包,手动安装。(建议使用:wget -np -nH -r --span-hosts )
以CDH5.0.0版本为例(注意如下提供的url可能不准确,cloudera随时可能会有更新,但可通过http://www.cloudera.com/content/support/en/documentation.html找到相关链接):
a.CDH包下载
http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH5/latest/CDH-Version-and-Packaging-Information/cdhvd_cdh_download.html
选择合适的location下载rpm http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.0.0/RPMS/,noarch和X86_64目录下的都下载。
内部包含了所有hadoop包,依赖包,基于hadoop上的其他产品包,例如hbase hive impala oozie hue sqoop 等等。
b.cloudera manager相关包下载
http://www.cloudera.com/content/cloudera-content/cloudera-docs/CM5/latest/Cloudera-Manager-Version-and-Download-Information/Cloudera-Manager-Version-and-Download-Information.html
选择合适的location下载rpm,内部包含jdk、cloudera manager agent daemons server相关包。
c.下载cloudera manger
http://www.cloudera.com/content/cloudera-content/cloudera-docs/CM5/latest/Cloudera-Manager-Installation-Guide/cm5ig_install_path_A.html?scroll=cmig_topic_6_5_1_unique_1
下载cloudera-manager-installer.bin
集群规划
选择节点 :namenode节点,cm节点,datanode节点,mysql安装节点,impala常驻进程节点(statestored和catalogd 服务应当运行在同一节点上)、hbase节点等等。
建议cm节点不与hadoop节点混合在一起。
安装数据库
CDH内置了数据库,但建议安装自己的数据库,以mysql为例安装步骤:
CDH5.0.0http://www.cloudera.com/content/cloudera-content/cloudera-docs/CM5/latest/Cloudera-Manager-Installation-Guide/cm5ig_mysql.html?scroll=cmig_topic_5_5
CDH4.×http://www.cloudera.com/content/cloudera-content/cloudera-docs/CM4Ent/latest/Cloudera-Manager-Installation-Guide/cmig_install_mysql.html
创建DB
Role Database User Password
Activity Monitor amon amon amon_password
Reports Manager rman rman rman_password
Cloudera Navigator Audit Server nav nav nav_password
Hive Metastore metastore hive hive_password
说明:
1.举例创建数据库
create database metastore DEFAULT CHARACTER SET utf8;
GRANT all ON metastore.* TO hive@ip identified by "xxx";其中ip为需要访问该库的ip
2.如上的db可能根据不同cdh版本而不同,有些可能不需要使用。
3.若使用hue,在使用多个用户针对同一个库的一个表进行查询操作会失败或者等待状态,建议使用mysql作为hue的管理库,官方文档中有相关章节。

机器准备(所有机器)
a.修改机器host vim /etc/sysconfig/network  vim /etc/hosts
b.设置 vim /etc/selinux/config selinux=disabled
c.关闭防火墙/etc/init.d/iptables stop      chkconfig iptables off永远关闭
d.无密码登录namenode ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
   cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
次步骤可以省略
e.所有节点用户密码一致
f.重启
拷贝rpm至所有节点
安装CM
CM节点:yum localinstall --nogpgcheck *.rpm yum安装1.b下载的所有rpm然后运行cloudera-manager-installer.bin完成安装。
其他节点:yum localinstall --nogpgcheck *.rpm yum安装1.b下载的CM agent daemons jdk等rpm,不需要安装server。
jdk环境变量
vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.7.0_45-cloudera
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:/usr/local/mysql_percona5.5.25/bin/
source /etc/profile
安装CDH
非CM的所有节点运行 yum localinstall --nogpgcheck *.rpm yum安装1.a下载的所有rpm。
注意此安装会将所有CDH相关的产品都会安装,若不想安装部分产品将rpm相关包删除即可。
取消所有产品的自动启动
chkconfig --del hadoop-0.20-jobtracker
chkconfig --del hadoop-0.20-tasktracker
chkconfig --del hadoop-0.20-datanode
chkconfig --del  hadoop-0.20-namenode
chkconfig --del  hadoop-0.20-secondarynamenode
chkconfig --del zookeeper-server
chkconfig --del hive-metastore
chkconfig --del webhcat-server
chkconfig --del hbase-thrift
chkconfig --del hbase-rest
chkconfig --del hbase-solr-indexer
chkconfig --del hbase-regionserver
chkconfig --del impala-server
chkconfig --del solr-server
chkconfig --del sqoop2-server
chkconfig --del hive-server2
chkconfig --del hbase-master
chkconfig --del hadoop-0.20-mapreduce-jobtracker       
chkconfig --del hadoop-0.20-mapreduce-tasktracker      
chkconfig --del hadoop-hdfs-datanode   
chkconfig --del hadoop-hdfs-journalnode
chkconfig --del hadoop-hdfs-namenode   
chkconfig --del hadoop-hdfs-secondarynamenode  
chkconfig --del hadoop-hdfs-zkfc       
chkconfig --del hadoop-httpfs  
chkconfig --del hadoop-mapreduce-historyserver 
chkconfig --del hadoop-yarn-nodemanager
chkconfig --del hadoop-yarn-proxyserver
chkconfig --del hadoop-yarn-resourcemanager   
chkconfig --del hadoop-hdfs-nfs3
chkconfig --del hive-hcatalog-server
chkconfig --del hive-server
chkconfig --del hive-webhcat-server
chkconfig --del sqoop-metastore
chkconfig --del llama
chkconfig --del spark-master
chkconfig --del spark-worker
chkconfig --del flume-ng-agent
chkconfig --del impala-catalog
chkconfig --del impala-state-store
chkconfig --del hue
chkconfig --del oozie
chkconfig --del hadoop-0.20-mapreduce-jobtrackerha
chkconfig --del hadoop-0.20-mapreduce-tasktracker
chkconfig --del hadoop-0.20-mapreduce-zkfc
chkconfig --del hadoop-hdfs-datanode
chkconfig --del hadoop-hdfs-journalnode
chkconfig --del hadoop-hdfs-namenode
chkconfig --del hadoop-hdfs-nfs3
chkconfig --del hadoop-hdfs-secondarynamenode
chkconfig --del hadoop-hdfs-zkfc
chkconfig --del hadoop-httpfs 
chkconfig --del hadoop-mapreduce-historyserver
chkconfig --del hadoop-yarn-nodemanager
chkconfig --del hadoop-yarn-proxyserver
chkconfig --del hadoop-yarn-resourcemanager
此处例举的可能不全,可通过chkconfig --list查看自动启动项,选择hadoop相关的进行去除。
登录CM界面
http://ip:7180 界面安装CDH
大概步骤如下:
选择节点(非CM的所有节点),选择服务(提供各种套餐,也可以自定义选择服务) ,安装服务(大部分已经RPM安装,此步骤很快),选择服务所处节点(如上已经规划过),认证用户和密码,选择服务数据库(自定义的mysql,如上已经安装好的),主机检测,启动服务。
CM4.*与CM5.*版本此步骤可能略有不同,但操作的内容大致相同。
分享到:
评论

相关推荐

    cm5 cdh5 安装 亲测可用

    cm5 cdh5 安装

    SUSELinux下CDH5安装

    【SUSE Linux下CDH5安装】涉及到的关键知识点如下: 1. **SUSE Linux操作系统**:SUSE Linux是一个流行的开源企业级操作系统,以其稳定性和安全性著称,常用于服务器环境,包括大数据处理和云计算。 2. **CDH5**:...

    hadoop cdh5安装

    在本文中,我们将深入探讨如何在Linux环境中安装Hadoop CDH5,这是一个广泛使用的Hadoop分发版,包含了多个开源大数据处理组件。CDH5提供了高效的数据存储、处理和分析功能,适合大规模数据处理场景。 首先,安装...

    CDH5安装集成Phoenix详细指南

    本教程将详细介绍如何在CDH5(Cloudera Distribution Including Apache Hadoop)平台上安装并配置Phoenix,确保在实际开发环境中顺畅运行。 一、Phoenix下载与安装 首先,你需要从官方镜像站点下载Phoenix的对应...

    安装hadoopCDH5安装服务步骤.doc

    本篇将详细阐述使用Cloudera Manager在CDH5上安装和配置Hive、HBase、Impala以及Spark的服务步骤。 **一、安装前准备工作** 在开始安装CDH5之前,确保完成以下准备工作: 1. **下载安装所需文件**:这包括...

    CDH5离线安装和配置指南

    #### 四、CDH5安装准备 为了安装CDH5,首先需要做一些准备工作,包括但不限于: - **操作系统**: CentOS 6.4 x86_64。 - **CDH版本**: 5.3.0(最新版本)。 - **文档**: 可以访问[Cloudera官方文档]...

    CDH5.14安装文档(包含spark2和kafka的安装)

    在这个CDH5.14的安装过程中,我们将关注如何在CentOS7.4环境下离线安装CDH,同时包括Spark2和Kafka。 首先,你需要下载以下组件: 1. JDK:这是Java Development Kit,用于运行和开发Java应用程序,CDH中的服务依赖...

    CDH5简要安装教程

    《CDH5简要安装教程》 CDH5(Cloudera Distribution Including Apache Hadoop, Version 5)是Cloudera公司提供的一款基于Apache Hadoop的开源大数据平台,包含了Hadoop生态系统中的多个组件,如HDFS、MapReduce、...

    SUSE12 全离线clouder Manager安装

    1. http://archive.cloudera.com/cdh5/parcels/ 2. http://archive.cloudera.com/cdh5/parcels/ 3. http://archive.cloudera.com/cm5/cm/5/ 4. ...

    CDH5-Phoenix安装包

    3. **安装过程**:在安装CDH5-Phoenix时,通常需要先确保已经安装了CDH5,并且HBase服务已经正常运行。然后,可以通过Cloudera Manager添加Phoenix服务,按照向导步骤进行配置,包括设置JDBC驱动路径、配置Phoenix...

    CDH5.12.2安装部署文档.docx

    5. CDH集群管理 在CDH安装和配置完成后,需要管理CDH集群。包括: * 节点管理:使用Cloudera Manager管理CDH集群的节点。 * 服务管理:使用Cloudera Manager管理CDH集群的服务。 通过以上步骤,即可完成CDH5.12.2...

    CDH5.12&CDH6.0安装文档.zip

    5. **安装注意事项**:CDH6.0不兼容CDH5.12,升级前需备份数据,且不能直接平滑升级。 三、学习与交流 这些安装文档不仅适用于初次安装,也适用于集群扩展和故障排查。通过学习这些文档,你可以掌握大数据集群的...

    CDH5在线安装包

    4. **运行安装脚本**:使用`./cloudera-manager-installer.bin`启动安装过程,按照提示进行操作,选择安装Cloudera Manager和CDH5。 5. **配置Manager服务器**:安装完成后,需要在Web浏览器中输入服务器IP和默认...

    CDH安装手册.rar_cdH_hadoop_hadoop安装手册_大数据_安装部署

    《CDH安装手册》是大数据领域的一份重要参考资料,主要针对Hadoop的安装与部署进行详细阐述。CDH,全称Cloudera Distribution Including Apache Hadoop,是由Cloudera公司提供的一个开源大数据平台,它包含了多个...

    centos7安装CDH5.X.X

    [root@localhost ~]# yum install -y cdh5-hadoop cdh5-hbase cdh5-hive ``` 4. **配置CDH**:安装完成后,需要配置各个组件的配置文件,包括`core-site.xml`, `hdfs-site.xml`, `yarn-site.xml`, `mapred-site....

    cdh离线安装.docx

    CDH离线安装知识点总结 CDH(Cloudera Distribution of Hadoop)是一款大数据集群解决方案,提供了离线安装方式来便捷地安装和配置大数据集群环境。本文将从CDH离线安装的角度,总结出相关的知识点,涵盖了离线安装...

    CDH集群安装与升级

    [http://archive.cloudera.com/cdh5/parcels/5.3.1/](http://archive.cloudera.com/cdh5/parcels/5.3.1/) - 下载Cloudera Manager (CM) 5.3.1版本的相关包: ...

Global site tag (gtag.js) - Google Analytics