`
xmanliang
  • 浏览: 22554 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

Hadoop(cdh3)+HBase+ZooKeeper伪分布式部署

阅读更多
在网上搜了很多很多关于hadoop的安装部署说明,但针对CDH3版本的部署却很少说明,结合很多前辈的安装部署说明,终于还是把它给部署起来了,过程很曲折,现在终于完成了,将此过程记录下来,做个总结!
一.安装方式的选择:
网上3种方式都有相关的说明,包括:
1)直接下载安装包手动安装
2)通过CM安装
3)yum安装

本人比较懒,第一种就不考虑了,首先考虑使用第二种方式,前期很顺利但安装到一大半提示类似找不到数据库的错误(具体错误提示当时忘保存了),google了好一阵子,用了各种方法,问题依旧,没办法只好用第三方案了!
二.安装步骤
1.安装源
wget http://archive.cloudera.com/redhat/6/x86_64/cdh/cdh3-repository-1.0-1.noarch.rpm

rpm -ivh cdh3-repository-1.0-1.noarch.rpm

cd /etc/yum.repos.d/

wget http://archive.cloudera.com/redhat/6/x86_64/cdh/cloudera-cdh3.repo

rpm --import http://archive.cloudera.com/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera
在/etc/yum.repos.d/ 路径下生成了一个cloudera-cdh3.repo文件,再修改/etc/yum.conf文件将该repo文件添加到此文件中
2.使用yum search hadoop命令搜索源
3.yum install hadoop-0.20 或 sudo install hadoophadoop-0.20(非root用户)
4.yum install hadoop-namenode
5.yum install hadoop-datanode
6.yum install hadoop-secondarynamenode
7.yum install hadoop-jobtracker
8.yum install hadoop-tasktracker
9.yum install hadoop-0.20-conf-pseudo
10.yum install hadoop-hbase
11.yum install hadoop-zookeeper
到此,所有需要安装的服务都已安装完毕
三、配置
由于已一键式安装了hadoop的伪分布式,所以关于hadoop的配置无需修改!
1.配置ssh
#root 操作
mkdir /usr/lib/hadoop/.ssh
#修改所有者。
chown hdfs:hdfs /usr/lib/hadoop/.ssh -R
#切换用户
su hdfs
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
#测试
ssh localhost
#如果可以登录说明配置好了。
2.执行 sh /usr/lib/hadoop/bin/start-all.sh
  执行 sh /usr/lib/hadoop/bin/stop-all.sh
上述步骤无异常则格式化namenode:
hadoop namenode -format
3.到hbase路径下修改hbase-site.xml文件,修改hbase.rootdir属性值,与core-site.xml中fs.default.name属性值一致并在后面追加一个目录,例如core-site.xml中的fs.default.name属性值为hdfs://localhost:8020则hbase.rootdir属性值为hdfs://localhost:8020/hbase
并添加如下属性值:
<property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
<property>
   <name>hbase.cluster.distributed</name>
   <value>true</value>
</property>
<property>
   <name>hbase.zookeeper.quorum</name>
   <value>localhost</value>
</property>
4.修改zookeeper配置文件如下:
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
dataDir=/data0/zoo/zk1/(本人只修改了这个路径)
# the port at which the clients will connect
clientPort=2181
5.启动zookeeper(./zkServer.sh start),执行./zkServer.sh status 显示当前为单点模式,貌似成功了其实不然,后面会提到
6.启动hbase(./start-hbase.sh),执行jps,查看已有HMaster和HRegionServer进程,貌似成功了,于是执行 hbase shell ,执行list命令,问题来了,报错:
ERROR zookeeper.ZKConfig: no valid quorum servers found in zoo.cfg

ERROR: org.apache.hadoop.hbase.ZooKeeperConnectionException: An error is preventing HBase from connecting to ZooKeeper

很纳闷,浏览器访问HMaster页面,显示了zookeeper信息,貌似没问题呀!

无奈,先关闭hbase,提示无法停止zookeeper,难道hbase自己也启动了一个zookeeper,想起hbase-env.sh里有个配置,虽然是被注释的,但是可能HBASE启动的时候默认就给赋值了,于是在hbase-env.sh文件中取消HBASE_MANAGES_ZK配置的注释,并将值改成false,同时取消JAVA_HOME和HBASE_OPTS两个属性的值,再次执行上述操作,报错依旧,但关闭HBASE时没有再报无法关闭zookeeper的提示,网上搜了很多方法,试了都不管用,就快要崩溃时,想想这个问题很明显是没有连接上zookeeper,那么不是HBASE启动有问题就是zookeeper没有启动成功,检查HBase日志,无异常,zookeeper日志也无异常,执行命令:echo ruok | nc localhost 2181,没有提示imok,那说明没有成功启动,验判断一定是个狗血的问题,于是想想最狗血的无非是配置错了,或者环境变量的问题,于是先检查配置,无问题,再检查环境变量,最笨的方法,把环境变量都重新配一次,于是修改/etc/profile文件,export HBASE_HOME、ZOOKEEPER_HOME、HADOOP_HOME等,再在HBase安装路径下,修改hbase-env.sh,export 上述变量外加HBASE_CONF_DIR和HADOOP_CONF_DIR,然后重新启动zookeeper和hbase,并执行下述命令:
echo ruok | nc localhost 2181

提示IMOK,这次zookeeper才真是成功启动了,上进入hbase shell 里执行命令 没有出现那个错误,总算搞定了!
分享到:
评论

相关推荐

    hadoop+hbase集群搭建 详细手册

    3. ZooKeeper:ZooKeeper是一个分布式协调服务,用于管理Hadoop和HBase集群。 二、机器集群结构分布 在本文中,我们将使用8台曙光服务器搭建集群,每台服务器的IP地址和主机名如下: | 主机名 | IP地址 | 安装的...

    SparkStreaming:Spark Streaming + Flume + Kafka + HBase + Hadoop + Zookeeper实现实时日志分析统计; SpringBoot + Echarts实现数据可视化展示

    避免流式传输前言:使用scala和java混编完成,其中也涉及到python脚本来自动生成日志,linux crontab调度工具来定时执行...hadoop-2.6.0-cdh5.7.0 hbase-1.2.0-cdh5.7.0 zookeeper-3.4.5-cdh5.7.0 spark-2.2.0-bin-2.6

    CDH-Hbase的安装1

    首先,安装HBase的前提条件是已经部署了HDFS(Hadoop分布式文件系统)和Zookeeper。Zookeeper是一个分布式协调服务,对于HBase的正常运行至关重要,因为它负责集群中的节点管理和配置同步。在确保这两个服务已经安装...

    基于cdh5.7.5集群的solr(4.10.3-cdh5.7.5)+hbase(1.2.0-cdh5.7.5)构建二级索引方案

    HBase则是基于Hadoop的数据存储系统,属于NoSQL数据库,擅长处理大规模分布式数据。在CDH5.7.5中,HBase版本为1.2.0-cdh5.7.5,它提供实时读写、强一致性的存储服务,适合存储非结构化和半结构化数据。 构建二级...

    hadoop-2.6.0-cdh5.7.0版本.zip

    5. **Hadoop生态**: Hadoop生态还包括许多其他工具,如HBase(NoSQL数据库)、ZooKeeper(协调服务)、Flume(日志收集)、Sqoop(数据导入导出工具)等。这些工具共同构建了一个强大的大数据处理环境。 6. **...

    cloudera hadoop cdh4.3版本安装

    CDH是Cloudera公司提供的一款开源大数据处理平台,它集成了Hadoop生态系统中的多个组件,如Hadoop、Zookeeper和HBase,以简化企业级的大数据部署和管理。 首先,我们需要下载必要的软件包。在描述中提到了以下三个...

    zookeeper-3.4.5-cdh5.15.2.tar.gz

    3. **配置管理**:在分布式环境中,配置管理是个挑战,Zookeeper可以用来存储和更新分布式系统的配置信息。 4. **集群管理**:它可以监控各个节点的状态,当节点状态发生变化时,可以通知到相关的服务。 5. **分发...

    hbase-1.2.0-cdh5.14.0.tar.gz

    HBase是Apache Hadoop生态系统中的一个分布式、版本化、基于列族的NoSQL数据库,它在大规模数据存储和实时查询方面表现出色。"hbase-1.2.0-cdh5.14.0.tar.gz" 是针对Cloudera Distribution Including Apache Hadoop ...

    hadoop-cdh4.6配置文件

    CDH4.6.0是CDH系列的一个版本,它包含了对Hadoop、HBase、Hive和ZooKeeper等组件的集成和优化。Spark则是一个快速、通用且可扩展的数据处理引擎,0.9.0是Spark早期的一个版本,其与CDH4的结合提供了强大的计算能力。...

    Hadoop-2.0.0-cdh4.3.0安装手册(hbase-0.94.15-cdh4.6.0)

    CDH4 是 Cloudera 提供的一个包含多个组件(如 Hadoop、HBase、Zookeeper 等)的集成解决方案,特别适合大规模数据处理和分析。本手册将详细阐述如何在 HA (High Availability,高可用性) 模式下安装 CDH4,并特别...

    hbase-0.98.6-cdh5.3.6.zip

    HBase是Apache Hadoop生态系统中的一个分布式、版本化、基于列族的NoSQL数据库,它设计用于处理海量数据。此压缩包"**hbase-0.98.6-cdh5.3.6.zip**"包含了针对CDH(Cloudera Distribution Including Apache Hadoop)...

    zookeeper-3.4.5-cdh5.16.2.tar.gz

    在CDH5.16.2中,Zookeeper与Hadoop、HBase、Hive等组件紧密集成,为这些大数据处理工具提供了关键的协调支持。例如: - **Hadoop**:Zookeeper用于管理HDFS的NameNode选举,以及YARN的ResourceManager和服务发现。 ...

    hadoop-2.6.0-cdh5.7.0.tar.gz

    5. **其他CDH组件**:CDH通常还包括其他大数据处理工具,如HBase(NoSQL数据库)、Hive(数据仓库工具)、Pig(数据分析平台)、Oozie(工作流调度器)和Zookeeper(分布式协调服务)等。 在使用这个安装包时,首先...

    zookeeper-3.4.5-cdh5.15.1.tar.gz

    在CDH5.15.1环境中,Zookeeper通常与其他组件如Hadoop、HBase等协同工作。例如,HBase依赖Zookeeper进行主节点选举,Hadoop YARN则利用Zookeeper进行资源管理协调。因此,确保Zookeeper的稳定运行对整个大数据平台至...

    CDH5.8+Oryx2.2推荐系统环境搭建

    - **数据库配置**:安装过程中可能需要配置相关数据库连接,如Hive Metastore、HBase的ZooKeeper等。 - **安装成功验证**:安装完成后,检查所有组件的状态,确认无误。 **4. 安装Kafka** - **下载Kafka**:Kafka...

    zookeeper-3.4.5-cdh5.12.0

    ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、...

    zookeeper-3.4.5-cdh5.16.1.tar.gz

    《Zookeeper 3.4.5-CDH5.16.1:集群管理与分布式协调的核心工具》 Zookeeper,作为Apache Hadoop项目的重要组件,是分布式应用程序的一个关键工具,它提供了一种集中式服务,用于命名、配置管理、组服务、分布式...

    impala依赖cdh版本的hadoop-hbase-hive相关jar包.zip

    在IT行业中,Impala、Hive和HBase是大数据处理领域的重要组件,它们与Hadoop紧密相连,构建了CDH(Cloudera Distribution Including Apache Hadoop)生态系统的一部分。本压缩包"impala依赖cdh版本的hadoop-hbase-...

    hadoop-2.0.0-cdh4.2.1.rar

    CDH(Cloudera Distribution Including Apache Hadoop)是Cloudera对Hadoop的商业化发行版,它包含了多个附加组件,如Hive(用于SQL查询的大数据仓库)、Pig(数据流处理工具)、HBase(NoSQL数据库)、Oozie(工作...

Global site tag (gtag.js) - Google Analytics