1、在安装Hbase时报如下错误:
2013-06-13 20:11:34,749 INFO org.apache.zookeeper.server.NIOServerCnxn: Closed socket connection for client /127.0.0.1:48725 (no session established for client)
2013-06-13 20:11:34,749 INFO org.apache.hadoop.hbase.zookeeper.MiniZooKeeperCluster: Started MiniZK Cluster and connect 1 ZK server on client port: 2181
2013-06-13 20:11:34,879 DEBUG org.apache.hadoop.hbase.master.HMaster: Set serverside HConnection retries=100
2013-06-13 20:11:35,400 ERROR org.apache.hadoop.hbase.master.HMasterCommandLine: Failed to start master
java.lang.RuntimeException: Failed construction of Master: class org.apache.hadoop.hbase.master.HMasterCommandLine$LocalHMasterCannot assign requested address
at org.apache.hadoop.hbase.util.JVMClusterUtil.createMasterThread(JVMClusterUtil.java:134)
at org.apache.hadoop.hbase.LocalHBaseCluster.addMaster(LocalHBaseCluster.java:197)
at org.apache.hadoop.hbase.LocalHBaseCluster.<init>(LocalHBaseCluster.java:147)
at org.apache.hadoop.hbase.master.HMasterCommandLine.startMaster(HMasterCommandLine.java:146)
at org.apache.hadoop.hbase.master.HMasterCommandLine.run(HMasterCommandLine.java:104)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
at org.apache.hadoop.hbase.util.ServerCommandLine.doMain(ServerCommandLine.java:76)
at org.apache.hadoop.hbase.master.HMaster.main(HMaster.java:2079)
Caused by: java.net.BindException: Problem binding to /60.191.124.236:0 : Cannot assign requested address
at org.apache.hadoop.hbase.ipc.HBaseServer.bind(HBaseServer.java:258)
at org.apache.hadoop.hbase.ipc.HBaseServer$Listener.<init>(HBaseServer.java:482)
at org.apache.hadoop.hbase.ipc.HBaseServer.<init>(HBaseServer.java:1559)
at org.apache.hadoop.hbase.ipc.WritableRpcEngine$Server.<init>(WritableRpcEngine.java:252)
at org.apache.hadoop.hbase.ipc.WritableRpcEngine.getServer(WritableRpcEngine.java:201)
at org.apache.hadoop.hbase.ipc.WritableRpcEngine.getServer(WritableRpcEngine.java:55)
at org.apache.hadoop.hbase.ipc.HBaseRPC.getServer(HBaseRPC.java:330)
at org.apache.hadoop.hbase.ipc.HBaseRPC.getServer(HBaseRPC.java:319)
at org.apache.hadoop.hbase.master.HMaster.<init>(HMaster.java:306)
at org.apache.hadoop.hbase.master.HMasterCommandLine$LocalHMaster.<init>(HMasterCommandLine.java:221)
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:39)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:27)
at java.lang.reflect.Constructor.newInstance(Constructor.java:513)
at org.apache.hadoop.hbase.util.JVMClusterUtil.createMasterThread(JVMClusterUtil.java:131)
... 7 more
Caused by: java.net.BindException: Cannot assign requested address
at sun.nio.ch.Net.bind(Native Method)
at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:119)
at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:59)
at org.apache.hadoop.hbase.ipc.HBaseServer.bind(HBaseServer.java:256)
... 21 more
原因是主机名没有绑定host,设置/etc/hosts,127.0.0.1 主机名
PS:如果按照下面的步骤操作,这个问题就可以避免。
接下来出现的几个问题基本都是和HOSTNAME有关系:
1、2012-11-12 16:41:39,099 [myid:] - INFO [main-SendThread(x.x.x.x:2181):ClientCnxn$SendThread@966] - Opening socket connection to server x.x.x.x/x.x.x.x:2181. Will not attempt to authenticate using SASL (无法定位登录配置)
2、ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times
3、ERROR: org.apache.hadoop.hbase.PleaseHoldException: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing
这几个问题基本是和hosts配置有关,zookeeper对IP的支持也特别弱,再做关联的时候建议最好是HOSTNAME,具体的配置是:
在/etc/hosts中配置机器名和相应的IP(三台机器一样的配置):
192.168.16.133 namenode
192.168.16.134 datanode1
192.168.16.135 datanode2
PS:机器名不要映射到127.0.0.1上
在各个机器上分别中配置机器名:
vi /etc/sysconfig/network
HOSTNAME=namenode
HOSTNAME=datanode1
HOSTNAME=datanode2
修改完后记得使设置生效,运行命令:hostname namenode、hostname datanode1、hostname datanode2,如果不行就重启机器;
接着就把所有配置文件的IP换成HOSTNAME。
另外还有很重要的一点就是服务器时间一定要同步,至少也要保证服务器时间相差不要太远。
以上操作完了,在把hdfs format一下,全部重新启动,hdfs->zookeeper->hbase。
MapReduce操作错误:
1、
13/06/22 17:02:00 ERROR security.UserGroupInformation: PriviledgedActionException as:zhangsan cause:java.net.UnknownHostException: unknown host: namenode
Exception in thread "main" java.net.UnknownHostException: unknown host: namenode
之前在linux绑定的主机名需要在本地windows hosts文件中绑定,格式:IP linux主机名
分享到:
相关推荐
在大数据处理领域,Hadoop、HBase和Zookeeper是三个至关重要的组件,它们共同构建了一个高效、可扩展的数据处理和存储环境。以下是关于这些技术及其集群配置的详细知识。 首先,Hadoop是一个开源的分布式计算框架,...
根据提供的标题、描述、标签及部分内容链接,我们可以推断出这是一个关于大数据技术栈的培训课程,涉及的技术包括Hadoop、HBase、Zookeeper、Spark、Kafka、Scala以及Ambari。下面将针对这些技术进行详细的介绍和...
在这些文件中,你需要指定如HDFS的名称节点、数据节点,Zookeeper的服务器列表,HBase的主节点地址等参数。 在配置完成后,启动各个服务,包括Hadoop的NameNode、DataNode、SecondaryNameNode、ResourceManager、...
Hadoop+Zookeeper+HBase部署指南涉及的知识点非常丰富,涵盖了云计算搭建模式中的关键技术组件。下面将详细介绍相关知识点: ### Hadoop+Zookeeper+HBase概述 Hadoop+Zookeeper+HBase是一种常用于构建云计算平台的...
大数据平台搭建之 Hadoop+Zookeeper+Hbase+Hive 部署指南 大数据平台搭建是指通过集成多种大数据处理技术,构建一个功能强大、可靠、高效的数据处理平台。本文档主要介绍如何部署 Hadoop、Zookeeper、Hbase、Hive ...
本项目旨在搭建一套完整的Spark集群环境,包括Hadoop HA(高可用)、HBase、Phoenix、Kafka、Flume、Zookeeper以及Scala等多个组件的集成。这样的环境适用于大规模的数据处理与分析任务,能够有效地支持实时数据流...
1. `hbase.rootdir`: 设置HBase的HDFS根目录,应指向HA集群的HDFS路径。 2. `hbase.cluster.distributed`: 设为true,表示运行在分布式模式下。 3. `hbase.zookeeper.quorum`: 指定Zookeeper集群的服务器列表。 4. `...
安装和配置Hadoop和HBase需要下载和解压缩安装包,并配置相关的配置文件,例如hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml等文件。 六、Hadoop HA高可用集群的优点 Hadoop HA高可用集群可以...
安装HBase时,需要考虑集群的Zookeeper配置,因为Zookeeper用于协调HBase的各个组件。 Oozie是Hadoop的工作流调度器,用于管理Hadoop作业(包括MapReduce、Pig、Hive、Sqoop等)和Spark作业的调度。配置Oozie时,...
在Hadoop生态系统中,Zookeeper用于协调HBase、HDFS、YARN等服务的状态,确保数据的一致性和高可用性。版本3.4.12是一个稳定版,包含了许多性能优化和bug修复。 **Hbase 1.4.4** HBase是基于Hadoop的非关系型数据库...
在构建大数据处理平台时,Hadoop、Hive、Zookeeper、HBase以及Kylin是关键组件,本教程将详述如何在CentOS7系统上基于Hadoop2.7.7搭建一个分布式集群,并集成Hive1.2.2、Zookeeper3.4.14、HBase1.x和Kylin2.5.0。...
在HBase的配置文件中,指定HDFS上的表数据存储路径以及Zookeeper集群的地址。之后启动HBase服务,即可进行数据库的操作。 ### 总结 搭建Hadoop集群、Zookeeper集群和HBase环境是一个复杂的过程,需要在每一步都...
在hbase-site.xml中配置HBase的HDFS URL为HA的命名空间,并设置HBase的Zookeeper地址。 5. **初始化NameNodes**:使用`hdfs namenode -format -clusterId`命令对NameNodes进行格式化,并分配唯一的集群ID。这一步...
6. 安装HBase:解压hbase-2.1.0,配置HBASE_HOME环境变量,修改`hbase-site.xml`,指定HBase的ZooKeeper连接和HDFS存储路径。 7. 初始化HBase:启动HBase的Master和RegionServer,创建表空间和表。 8. 安装Phoenix:...
在大数据处理领域,Hadoop、HBase和ZooKeeper是三个至关重要的开源组件。本教程将深入探讨如何利用Hadoop2.7.3、HBase1.2.5和ZooKeeper3.4.6搭建一个完整的分布式集群环境,以支持大规模数据存储和处理。 首先,...