通过cloudera-manager来安装hadoop
本人笨,装的过程碰了不少东西,其他网站转载的文章也没具体写清楚,以下我实战了下总结下来。
1. ssh登陆要安装管理界面的机器,确定关闭防火墙和selinux,然后安装cloudera-manager-installer.bin
2. 修改host,并复制到所有节点
vim /etc/hosts
##内容————————————————
172.16.1.1x node1
172.16.1.2x node2
172.16.1.3x node3
127.0.0.1 localhost # 这是必须指定为localhost,且必须为第一个127.0.0.1的域
3. 打开管理界面 http://{{host}}:7180/
1)用来安装hadoop组件的帐号必须有ssh 且 root 权限
2)像我们的服务器都使用了key登陆,所以在安装时,必须为选用的帐号设置sudo权限且不需输入密码,以下操作是每一台节点机器必须进行
a. 用root操作,修改文件可写权限: chmod +w /etc/sudoers
b. vim /etc/sudoers 添加如: nic ALL=(ALL) NOPASSWD: ALL
c. 去除可写权限,chmod -w /etc/sudoers
3)给你安装hadoop的账户赋予这些文件的读权限和执行权限
chmod +r /bin/mktemp
chmod +x /bin/mktemp
chmod +r /usr/bin/tee
chmod +x /usr/bin/tee
chmod +r /usr/bin/tr
chmod +x /usr/bin/tr
4)随便进去一个目录wget下载各种hadoop组件安装包 (cloudera-manager所在机器如果不需要安装任何hadoop组件,则不需要下载和安装)
wget http://archive.cloudera.com/cm4/redhat/5/x86_64/cm/4.1.1/RPMS/x86_64/jdk-6u31-linux-amd64.rpm
wget http://archive.cloudera.com/cdh4/redhat/5/x86_64/cdh/4/RPMS/noarch/oozie-3.2.0+126-1.cdh4.1.2.p0.10.el5.noarch.rpm -O oozie-3.2.0-cdh4.1.2.p0.10.el5.noarch.rpm
### 注意这只是其中一部分,并且各个版本可能不一样,所需的文件可以从以上路径下找,或者用cloudera-manager来自动安装,把整个过程复制下来,慢慢找它自动下载的*.rpm包的路径 ###
### 既然有自动下载和安装功能,为什么还手动下载呢? 因为cloudera-manager安装过程只要一发生失败(安装过程有权限问题、或者下载超时等问题.),一切行为都将回滚,包括下载和安装的文件,
即如果依赖cloudera-manager每次安装都必须重新下载、重新安装。再说,有的rpm包很大,咱们服务器不像国外服务器,咱国内服务器下载这下资源包过程很慢而且还有很大可能下载不了,也就是说很容易出现辛辛苦苦装半天,一下回到解放前。
要一劳永逸,在本地迅雷下好了,再scp上去平均速度也有90kb/s,比服务器下载要快(亲测,不同网络环境可能有不一样), 下载后再从一个节点scp到各个节点 ###
### 要用到的安装包名有如下列表,请各自寻找下载 ###
###
hadoop-2.0.0-cdh4.1.2.p0.27.el5.x86_64.rpm
hadoop-hdfs-2.0.0-cdh4.1.2.p0.27.el5.x86_64.rpm
hadoop-httpfs-2.0.0-cdh4.1.2.p0.27.el5.x86_64.rpm
hadoop-yarn-2.0.0.1.cdh4.1.2.p0.27.el5.x86_64.rpm
hadoop-mapreduce-2.0.0-cdh4.1.2.p0.27.el5.x86_64.rpm
hadoop-0.20-mapreduce-0.20.21.cdh4.1.2.p0.24.el5.x86_64.rpm
hadoop-libhdfs-2.0.0-cdh4.1.2.p0.27.el5.x86_64.rpm
hadoop-client-2.0.0-cdh4.1.2.p0.27.el5.x86_64.rpm
hadoop-hdfs-fuse-2.0.0-cdh4.1.2.p0.27.el5.x86_64.rpm
zookeeper-3.4.31.cdh4.1.2.p0.34.el5.noarch.rpm
hbase-0.92.1-cdh4.1.2.p0.24.el5.noarch.rpm
hive-0.9.0-cdh4.1.2.p0.21.el5.noarch.rpm
oozie-3.2.0-cdh4.1.2.p0.10.el5.noarch.rpm
oozie-client-3.2.0-cdh4.1.2.p0.10.el5.noarch.rpm
pig-0.10.01.cdh4.1.2.p0.24.el5.noarch.rpm
hue-common-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
hue-about-2.1.-cdh4.1.2.p0.9.el5.x86_64.rpm
hue-help-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
hue-filebrowser-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
hue-jobbrowser-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
hue-jobsub-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
hue-beeswax-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
hue-plugins-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
hue-proxy-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
hue-shell-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
hue-useradmin-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
sqoop-1.4.11.cdh4.1.2.p0.21.el5.noarch.rpm
###
5)执行安装
yum install cyrus-sasl-gssapi
rpm -ivh jdk-6u31-linux-amd64.rpm # 竟然还指定装这个,有点莫名奇妙,我给机器自己装了jdk1.7的还配了环境变量,但这个cloudera还是说没找到,还自己下载安装,不知道是不是我没配置好呢?
rpm -ivh cloudera-manager-agent-4.1.2-1.cm412.p0.428.x86_64.rpm
rpm -ivh cloudera-manager-daemons-4.1.2-1.cm412.p0.428.x86_64.rpm
rpm -ivh bigtop-utils-0.4+359-1.cdh4.1.2.p0.34.el5.noarch.rpm
rpm -ivh bigtop-jsvc-0.4-cdh4.1.2.p0.43.el5.x86_64.rpm
rpm -ivh bigtop-tomcat-0.4-cdh4.1.2.p0.38.el5.noarch.rpm
rpm -ivh flume-ng-1.2.0-cdh4.1.2.p0.7.el5.noarch.rpm
rpm -ivh hadoop-2.0.0-cdh4.1.2.p0.27.el5.x86_64.rpm
rpm -ivh hadoop-hdfs-2.0.0-cdh4.1.2.p0.27.el5.x86_64.rpm
rpm -ivh hadoop-httpfs-2.0.0-cdh4.1.2.p0.27.el5.x86_64.rpm
rpm -ivh hadoop-yarn-2.0.0.1.cdh4.1.2.p0.27.el5.x86_64.rpm
rpm -ivh hadoop-mapreduce-2.0.0-cdh4.1.2.p0.27.el5.x86_64.rpm
rpm -ivh hadoop-0.20-mapreduce-0.20.21.cdh4.1.2.p0.24.el5.x86_64.rpm
rpm -ivh hadoop-libhdfs-2.0.0-cdh4.1.2.p0.27.el5.x86_64.rpm
rpm -ivh hadoop-client-2.0.0-cdh4.1.2.p0.27.el5.x86_64.rpm
rpm -ivh hadoop-hdfs-fuse-2.0.0-cdh4.1.2.p0.27.el5.x86_64.rpm
rpm -ivh zookeeper-3.4.31.cdh4.1.2.p0.34.el5.noarch.rpm
rpm -ivh hbase-0.92.1-cdh4.1.2.p0.24.el5.noarch.rpm
rpm -ivh hive-0.9.0-cdh4.1.2.p0.21.el5.noarch.rpm
rpm -ivh oozie-3.2.0-cdh4.1.2.p0.10.el5.noarch.rpm
rpm -ivh oozie-client-3.2.0-cdh4.1.2.p0.10.el5.noarch.rpm
rpm -ivh pig-0.10.01.cdh4.1.2.p0.24.el5.noarch.rpm
rpm -ivh hue-common-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
rpm -ivh hue-about-2.1.-cdh4.1.2.p0.9.el5.x86_64.rpm
rpm -ivh hue-help-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
rpm -ivh hue-filebrowser-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
rpm -ivh hue-jobbrowser-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
rpm -ivh hue-jobsub-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
rpm -ivh hue-beeswax-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
rpm -ivh hue-oozie-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
rpm -ivh hue-plugins-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
rpm -ivh hue-proxy-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
rpm -ivh hue-shell-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
rpm -ivh hue-useradmin-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
rpm -ivh sqoop-1.4.11.cdh4.1.2.p0.21.el5.noarch.rpm
6)安装过程有由于顺序问题引起某些包安装不全,请重复执行上述命令4-5次直到所有安装包提示已经安装为止
7)用cloudera-manager进行“安装”,这过程基本上就是完成配置文件和启动cloudera-scm-agent(这个重要,有可能会提示出错,出错原因稍后补充)而已,很快。
8)最后提示成功,则这台机器已经受cloudera-scm-agent管理,基本上安装配置完毕,剩下的就是根据cloudera-manager提示界面按需要完成hadoop组件、节点配置,如选择namenode,datanode等。
这个过程很简单很方便,但当然如果配置完成并启动后再修改某些节点的内容如什么什么mapreduce、什么Tracker之类,可能会出现问题再也启动不了,具体内容出现过但没深入研究,
有的问题还没法解决只能换了机器(除了hadoop安装过程依赖多,配置多,服务器本身环境也复杂。所以官方文档建议用干净的机器)。
4.安装过程问题补充
1)cloudera-scm-agent 无法启动:查看机器名,机器名不能包含下划线
2)安装过程、或配置有问题,需完全删除cloudera-scm-agent的,除了上述反安装rpm包的命令,还需手动删除部分文件
rm -rf /var/run/cloudera-scm-agent
rm -rf /var/log/cloudera-scm-agent
3)如果cloudera-manager上管理的机器识别标识老是机器名(应该是host上配置的)或ip不对, 手动修改启动脚本参数
vim /usr/sbin/cmf-agent
大概内容、位置
agent/src/cmf/agent.py
—hostname vip1 —ip_address 172.16.22.1
4)重启agent
/etc/init.d/cloudera-scm-agent restart
5)卸载所有安装内容的命令:
rpm -e cloudera-manager-agent
rpm -e cloudera-manager-daemons
rpm -e sqoop
rpm -e pig
rpm -e oozie
rpm -e oozie-client
rpm -e flume-ng
rpm -e hadoop-hdfs-fuse
rpm -e hadoop-libhdfs
rpm -e hue
rpm -e hue-useradmin
rpm -e hue-about
rpm -e hue-oozie
rpm -e hue-beeswax
rpm -e hue-jobsub
rpm -e hue-jobbrowser
rpm -e hue-shell
rpm -e hue-proxy
rpm -e hue-plugins
rpm -e hue-filebrowser
rpm -e hue-help
rpm -e hue-common
rpm -e hive
rpm -e hadoop-client
rpm -e hadoop-0.20-mapreduce
rpm -e hadoop-mapreduce
rpm -e hadoop-yarn
rpm -e hadoop-httpfs
rpm -e hbase
rpm -e hadoop-hdfs
rpm -e bigtop-tomcat
rpm -e bigtop-jsvc
rpm -e hadoop
rpm -e zookeeper
rpm -e bigtop-utils
rm -f /etc/cloudera-scm-agent/config.ini.rpmsave
rm -rf /etc/hadoop
rm -rf /usr/lib/hadoop
rm -rf /etc/hadoop-httpfs/
rm -rf /usr/lib/hadoop-httpfs
rm -rf /etc/hive
rm -rf /usr/lib/hive
rm -rf /etc/hbase
rm -rf /usr/lib/hbase
rm -rf /usr/lib/hadoop-0.20-mapreduce/
rm -rf /usr/lib/hadoop-hdfs
rm -rf /usr/lib/hadoop-mapreduce
rm -rf /usr/lib/hadoop-yarn
rm -rf /usr/lib/zookeeper
rm -rf /etc/zookeeper
rm -rf /usr/lib/oozie
rm -rf /etc/oozie
rm -rf /usr/lib/bigtop-tomcat
rm -rf /usr/lib/flume-ng
rm -rf /etc/flume-ng
rm -rf /var/lib/hive
rm -rf /var/lib/oozie
rm -rf /var/lib/zookeeper
rm -rf /dfs # cloudera 默认是这个配置路径,根据实际吧,别乱删
rm -rf /data/dfs/ # cloudera 默认是这个配置路径,根据实际吧,别乱删
6. 测试。
1)用浏览器打开hdfs-site.xml中配置的dfs.namenode.http-address所对应的地址,则看看到该hadoop集群机器当前相应状况。
2)登陆集群中的任意一台机器,直接执行”hadoop fs -ls / ” 来查看hadoop中的文件,或”hadoop fs -put xxx /tmp” 把文件放到hadoop中存放。(这里当然需要配置系统环境变量PATH的$HADOOP_HOME/bin)。
3)非集群内机器访问并操作该hadoop集群文件,还是下载hadoop,配置什么的跟上面一样,不需要启动什么,然后直接hadoop fs 看看,或者hadoop fs -ls hdfs://xxxx:12345/。(前提,这台机器能直接访问集群的namenode、datanode)。
原文:http://my.oschina.net/sansom/blog/185378
相关推荐
《Cloudera Manager在CentOS7上的安装与配置详解》 Cloudera Manager是一款强大的大数据管理工具,尤其在CDH(Cloudera Distribution Including Apache Hadoop)环境的部署和管理中发挥着至关重要的作用。本篇文章...
1. RPM安装包:Cloudera Manager 5.16.1提供了RPM(Red Hat Package Manager)安装包,这意味着用户可以通过yum命令在Linux系统中便捷地安装和升级CM,大大降低了部署复杂度。 2. 系统兼容性:此版本支持多种Linux...
db-2-6.0.1-610811.el7.x86_64.zip"这个压缩包中,我们可以看到"cloudera-manager-server-db-2-6.0.1-610811.el7.x86_64.rpm"文件,这是一个针对Red Hat Enterprise Linux 7(x86_64架构)的RPM软件包,用于安装和...
- **集群安装**:Cloudera Manager简化了Hadoop集群的部署过程,使得运维人员可以快速、高效地设置和配置新集群,包括安装和升级各个组件,如Hadoop、Hive、Spark等。 - **集群配置**:对于已部署的集群,Cloudera...
* 集群安装:Cloudera Manager提供了自动化的集群安装功能,能够快速部署Hadoop集群。 * 集群配置:Cloudera Manager提供了灵活的集群配置功能,能够满足不同用户的需求。 * 权限管理:Cloudera Manager提供了完善的...
1. **安装与配置**:Cloudera Manager通过自动化流程简化了CDH组件的安装,包括自动配置网络、安全性以及数据节点的分配,极大地减少了人为错误。 2. **资源调度**:利用YARN,Cloudera Manager可以智能地分配计算...
1. **安装MySql JDBC驱动**:这是为了连接到MySQL数据库,因为Cloudera Manager需要使用MySQL作为其后台数据库来存储配置和服务状态信息。JDBC驱动程序`mysql-connector-java.jar`应被放置在指定的目录`/usr/share/...
- **集群安装**:Cloudera Manager能够自动化Hadoop集群的安装过程,显著缩短部署时间。 - **集群配置**:提供了一个集中的管理界面,用于集群的配置和更改。 - **权限管理**:可以对集群内的操作设置不同的权限,...
cloudera-manager-agent-7.4.4-15850731.el7.x86_64.rpm cloudera-manager-daemons-7.4.4-15850731.el7.x86_64.rpm cloudera-manager-server-7.4.4-15850731.el7.x86_64.rpm cloudera-manager-server-db-2-7.4.4-...
2. 安装Yum仓库:将解压后的`cm-5.14.2`目录中的`cloudera-manager.repo`文件复制到`/etc/yum.repos.d/`,以便通过Yum安装Cloudera Manager。 3. 更新Yum缓存:运行`yum clean all && yum makecache`命令刷新Yum...
cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm;cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm;cloudera-manager-server-db-2-6.3.1-1466458.el7.x86_64.rpm;oracle-j2sdk1.8-1.8.0+update181-1...
Cloudera Manager是CDH市场领先的管理平台,由Cloudera公司开发,它是业界第一款端到端的Apache Hadoop管理应用。Cloudera Manager对CDH(Cloudera's Distribution including Apache Hadoop)的每个部件提供了细粒度...
1. **安装与配置**:Cloudera Manager简化了CDH组件的安装过程,通过向导式界面,可以一键安装和配置整个集群,包括数据节点、名称节点、资源管理器等角色,极大地减少了手动配置的工作量。 2. **监控与诊断**:...
文档将详细介绍如何安装和配置Cloudera Manager,以及如何通过其来安装和管理CDH。Cloudera Manager安装一般涉及数据库准备、服务器安装、Web界面配置和代理安装等步骤。 ### Cloudera Manager与Hadoop生态 文档中...
作为业界首个端到端Apache Hadoop管理应用,Cloudera Manager通过提供细粒度的可视化和控制,使得每个CDH组件的管理变得直观。其主要目的是简化企业数据中心的管理流程,并且其集成了自动化的安装过程、实时的集群...
"cloudera-manager-agent-6.0.1-610811.el6.x86_64.rpm"文件是安装Agent的二进制文件,用户可以通过执行RPM命令进行安装。安装过程会将Agent的相关服务、配置文件和依赖库部署到系统中,以便其能够正常工作。 在...
其次,每个集群节点上会运行Cloudera Manager Agent,负责与Cloudera Manager Server通信,执行来自服务器端的指令,如安装服务、启动和停止服务等。此外,Cloudera Manager还包含一个Web用户界面,允许用户通过...
通过这份中文手册,用户可以全面了解Cloudera Manager的各项功能,并学习如何有效地利用它来管理和优化Hadoop集群,从而提升大数据处理的效率和稳定性。无论是初学者还是经验丰富的管理员,都能从中获益,提升对...