`
itsoul
  • 浏览: 218130 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

HDFS+Zookeeper+Hbase错误

阅读更多
1、在安装Hbase时报如下错误:
2013-06-13 20:11:34,749 INFO org.apache.zookeeper.server.NIOServerCnxn: Closed socket connection for client /127.0.0.1:48725 (no session established for client)
2013-06-13 20:11:34,749 INFO org.apache.hadoop.hbase.zookeeper.MiniZooKeeperCluster: Started MiniZK Cluster and connect 1 ZK server on client port: 2181
2013-06-13 20:11:34,879 DEBUG org.apache.hadoop.hbase.master.HMaster: Set serverside HConnection retries=100
2013-06-13 20:11:35,400 ERROR org.apache.hadoop.hbase.master.HMasterCommandLine: Failed to start master
java.lang.RuntimeException: Failed construction of Master: class org.apache.hadoop.hbase.master.HMasterCommandLine$LocalHMasterCannot assign requested address
	at org.apache.hadoop.hbase.util.JVMClusterUtil.createMasterThread(JVMClusterUtil.java:134)
	at org.apache.hadoop.hbase.LocalHBaseCluster.addMaster(LocalHBaseCluster.java:197)
	at org.apache.hadoop.hbase.LocalHBaseCluster.<init>(LocalHBaseCluster.java:147)
	at org.apache.hadoop.hbase.master.HMasterCommandLine.startMaster(HMasterCommandLine.java:146)
	at org.apache.hadoop.hbase.master.HMasterCommandLine.run(HMasterCommandLine.java:104)
	at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
	at org.apache.hadoop.hbase.util.ServerCommandLine.doMain(ServerCommandLine.java:76)
	at org.apache.hadoop.hbase.master.HMaster.main(HMaster.java:2079)
Caused by: java.net.BindException: Problem binding to /60.191.124.236:0 : Cannot assign requested address
	at org.apache.hadoop.hbase.ipc.HBaseServer.bind(HBaseServer.java:258)
	at org.apache.hadoop.hbase.ipc.HBaseServer$Listener.<init>(HBaseServer.java:482)
	at org.apache.hadoop.hbase.ipc.HBaseServer.<init>(HBaseServer.java:1559)
	at org.apache.hadoop.hbase.ipc.WritableRpcEngine$Server.<init>(WritableRpcEngine.java:252)
	at org.apache.hadoop.hbase.ipc.WritableRpcEngine.getServer(WritableRpcEngine.java:201)
	at org.apache.hadoop.hbase.ipc.WritableRpcEngine.getServer(WritableRpcEngine.java:55)
	at org.apache.hadoop.hbase.ipc.HBaseRPC.getServer(HBaseRPC.java:330)
	at org.apache.hadoop.hbase.ipc.HBaseRPC.getServer(HBaseRPC.java:319)
	at org.apache.hadoop.hbase.master.HMaster.<init>(HMaster.java:306)
	at org.apache.hadoop.hbase.master.HMasterCommandLine$LocalHMaster.<init>(HMasterCommandLine.java:221)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:39)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:27)
	at java.lang.reflect.Constructor.newInstance(Constructor.java:513)
	at org.apache.hadoop.hbase.util.JVMClusterUtil.createMasterThread(JVMClusterUtil.java:131)
	... 7 more
Caused by: java.net.BindException: Cannot assign requested address
	at sun.nio.ch.Net.bind(Native Method)
	at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:119)
	at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:59)
	at org.apache.hadoop.hbase.ipc.HBaseServer.bind(HBaseServer.java:256)
	... 21 more


原因是主机名没有绑定host,设置/etc/hosts,127.0.0.1 主机名
PS:如果按照下面的步骤操作,这个问题就可以避免。

接下来出现的几个问题基本都是和HOSTNAME有关系:
1、2012-11-12 16:41:39,099 [myid:] - INFO  [main-SendThread(x.x.x.x:2181):ClientCnxn$SendThread@966] - Opening socket connection to server x.x.x.x/x.x.x.x:2181. Will not attempt to authenticate using SASL (无法定位登录配置)
2、ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times
3、ERROR: org.apache.hadoop.hbase.PleaseHoldException: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing
这几个问题基本是和hosts配置有关,zookeeper对IP的支持也特别弱,再做关联的时候建议最好是HOSTNAME,具体的配置是:
在/etc/hosts中配置机器名和相应的IP(三台机器一样的配置):
192.168.16.133 namenode
192.168.16.134 datanode1
192.168.16.135 datanode2

PS:机器名不要映射到127.0.0.1上

在各个机器上分别中配置机器名:
vi /etc/sysconfig/network
HOSTNAME=namenode
HOSTNAME=datanode1
HOSTNAME=datanode2


修改完后记得使设置生效,运行命令:hostname namenode、hostname datanode1、hostname datanode2,如果不行就重启机器;

接着就把所有配置文件的IP换成HOSTNAME。

另外还有很重要的一点就是服务器时间一定要同步,至少也要保证服务器时间相差不要太远。

以上操作完了,在把hdfs format一下,全部重新启动,hdfs->zookeeper->hbase。


MapReduce操作错误:
1、
13/06/22 17:02:00 ERROR security.UserGroupInformation: PriviledgedActionException as:zhangsan cause:java.net.UnknownHostException: unknown host: namenode
Exception in thread "main" java.net.UnknownHostException: unknown host: namenode

之前在linux绑定的主机名需要在本地windows hosts文件中绑定,格式:IP linux主机名

0
0
分享到:
评论

相关推荐

    hadoop+hbase+zookeeper集群配置流程及文件

    在大数据处理领域,Hadoop、HBase和Zookeeper是三个至关重要的组件,它们共同构建了一个高效、可扩展的数据处理和存储环境。以下是关于这些技术及其集群配置的详细知识。 首先,Hadoop是一个开源的分布式计算框架,...

    徐老师大数据培训Hadoop+HBase+ZooKeeper+Spark+Kafka+Scala+Ambari

    根据提供的标题、描述、标签及部分内容链接,我们可以推断出这是一个关于大数据技术栈的培训课程,涉及的技术包括Hadoop、HBase、Zookeeper、Spark、Kafka、Scala以及Ambari。下面将针对这些技术进行详细的介绍和...

    hadoop+zookeeper+hbase集群搭建配置说明

    在这些文件中,你需要指定如HDFS的名称节点、数据节点,Zookeeper的服务器列表,HBase的主节点地址等参数。 在配置完成后,启动各个服务,包括Hadoop的NameNode、DataNode、SecondaryNameNode、ResourceManager、...

    Hadoop+Zookeeper+HBase部署指南

    Hadoop+Zookeeper+HBase部署指南涉及的知识点非常丰富,涵盖了云计算搭建模式中的关键技术组件。下面将详细介绍相关知识点: ### Hadoop+Zookeeper+HBase概述 Hadoop+Zookeeper+HBase是一种常用于构建云计算平台的...

    Hadoop+Zookeeper+Hbase+Hive部署.doc

    大数据平台搭建之 Hadoop+Zookeeper+Hbase+Hive 部署指南 大数据平台搭建是指通过集成多种大数据处理技术,构建一个功能强大、可靠、高效的数据处理平台。本文档主要介绍如何部署 Hadoop、Zookeeper、Hbase、Hive ...

    spark环境安装(Hadoop HA+Hbase+phoneix+kafka+flume+zookeeper+spark+scala)

    本项目旨在搭建一套完整的Spark集群环境,包括Hadoop HA(高可用)、HBase、Phoenix、Kafka、Flume、Zookeeper以及Scala等多个组件的集成。这样的环境适用于大规模的数据处理与分析任务,能够有效地支持实时数据流...

    hadoop+HA+zookeeper+hbase配置文件

    1. `hbase.rootdir`: 设置HBase的HDFS根目录,应指向HA集群的HDFS路径。 2. `hbase.cluster.distributed`: 设为true,表示运行在分布式模式下。 3. `hbase.zookeeper.quorum`: 指定Zookeeper集群的服务器列表。 4. `...

    Hadoop HA高可用集群搭建(Hadoop+Zookeeper+HBase)

    安装和配置Hadoop和HBase需要下载和解压缩安装包,并配置相关的配置文件,例如hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml等文件。 六、Hadoop HA高可用集群的优点 Hadoop HA高可用集群可以...

    Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署

    安装HBase时,需要考虑集群的Zookeeper配置,因为Zookeeper用于协调HBase的各个组件。 Oozie是Hadoop的工作流调度器,用于管理Hadoop作业(包括MapReduce、Pig、Hive、Sqoop等)和Spark作业的调度。配置Oozie时,...

    zookeeper3.4.12+hbase1.4.4+sqoop1.4.7+kafka2.10

    在Hadoop生态系统中,Zookeeper用于协调HBase、HDFS、YARN等服务的状态,确保数据的一致性和高可用性。版本3.4.12是一个稳定版,包含了许多性能优化和bug修复。 **Hbase 1.4.4** HBase是基于Hadoop的非关系型数据库...

    基于CentOS7的Hadoop2.7.7集群部署+Hive+Zookeeper+hbase1.x+kylin2.5.0.doc

    在构建大数据处理平台时,Hadoop、Hive、Zookeeper、HBase以及Kylin是关键组件,本教程将详述如何在CentOS7系统上基于Hadoop2.7.7搭建一个分布式集群,并集成Hive1.2.2、Zookeeper3.4.14、HBase1.x和Kylin2.5.0。...

    Hadoop集群+Zookeeper+HBase环境搭建

    在HBase的配置文件中,指定HDFS上的表数据存储路径以及Zookeeper集群的地址。之后启动HBase服务,即可进行数据库的操作。 ### 总结 搭建Hadoop集群、Zookeeper集群和HBase环境是一个复杂的过程,需要在每一步都...

    hdfs2-7_3+hbase1_2_5 HA withQJM环境搭建

    在hbase-site.xml中配置HBase的HDFS URL为HA的命名空间,并设置HBase的Zookeeper地址。 5. **初始化NameNodes**:使用`hdfs namenode -format -clusterId`命令对NameNodes进行格式化,并分配唯一的集群ID。这一步...

    hadoop2.7.1+zk3.5+hbase2.1+phoenix 安装部署环境打包

    6. 安装HBase:解压hbase-2.1.0,配置HBASE_HOME环境变量,修改`hbase-site.xml`,指定HBase的ZooKeeper连接和HDFS存储路径。 7. 初始化HBase:启动HBase的Master和RegionServer,创建表空间和表。 8. 安装Phoenix:...

    Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6 搭建分布式集群环境详解

    在大数据处理领域,Hadoop、HBase和ZooKeeper是三个至关重要的开源组件。本教程将深入探讨如何利用Hadoop2.7.3、HBase1.2.5和ZooKeeper3.4.6搭建一个完整的分布式集群环境,以支持大规模数据存储和处理。 首先,...

Global site tag (gtag.js) - Google Analytics