最近要用到hbase,需要开发一个程序。总不能跑到线上环境的hbase搞吧?万一出问题就不是小事。
从docker 的hub 拉取镜像: harisekhon/hbase:1.3
参考github的项目:tanwenliang/spring-boot-hbase-example
https://github.com/tanwenliang/spring-boot-hbase-example
还有另一个项目:
https://liudanking.com/arch/setup-hbase-local-env-for-mac-with-docker/
1、按照上面的参考资料docker本地拉取镜像
docker pull harisekhon/hbase:1.3
2、启动容器
docker run -d -h myhbase -p 2181:2181 -p 8080:8080 -p 8085:8085 -p 9090:9090 -p 9095:9095 -p 16000:16000 -p 16010:16010 -p 16201:16201 -p 16301:16301 --name hbase1.3 harisekhon/hbase:1.3
3、eclipse中启动springboot的程序
问题来了:
日志显示连接到zk是成功的,但是一直卡住无法访问hbase的server。等了一会就超时,报错:
org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=36, exceptions: Mon Apr 02 11:30:11 CST 2018, null, java.net.SocketTimeoutException: callTimeout=60000, callDuration=76915: Connection refused:
排查了好久,发现docker的hbase暴露的端口变了,需要添加一个 16020的端口:-p 16020:16020
为了可以在web里面查看hbase的更多信息,需要添加一个端口:-p 16030:16030
最后启动docker的hbaes容器命令为:
docker run -d -h myhbase -p 2181:2181 -p 8080:8080 -p 8085:8085 -p 9090:9090 -p 9095:9095 -p 16000:16000 -p 16010:16010 -p 16020:16020 -p 16201:16201 -p 16301:16301 -p 16030:16030 --name hbase1.3 harisekhon/hbase:1.3
程序正常了。
相关推荐
### HBase 单机环境搭建详解 #### 一、安装前置条件说明 ##### 1.1 JDK 版本说明 HBase 的运行依赖于 Java 环境,且自 HBase 2.0+ 版本起,已不再支持 JDK 1.7,因此必须安装 JDK 1.8 或更高版本。尽管文档中未...
【Hadoop及Hbase部署与应用】涉及到的关键知识点如下: 1. **Hadoop基础**: - Hadoop是一个开源的分布式计算框架,基于Java开发,主要用于处理和存储大规模数据。它由两个主要组件组成:HDFS(Hadoop Distributed...
在Windows 10环境下搭建Hadoop 3.1.3和HBase 2.2.2测试环境是一项技术性较强的任务,涉及到多个组件的安装、配置以及相互间的协同工作。以下将详细介绍如何进行这一过程,以及相关的配置文件作用。 首先,我们需要...
【HBase 单机环境搭建】 在搭建 HBase 单机环境时,首要任务是确保你的系统已经安装了 Java 环境。HBase 的运行依赖于 Java,因此需要设置 `JAVA_HOME` 环境变量指向 JDK 的安装路径。例如,在这个环境中,`JAVA_...
通过以上步骤,可以在本地环境中搭建起一个简单的HBase实例,为进一步学习和实践打下基础。 总之,HBase作为一种高性能的非关系型数据库系统,以其独特的面向列存储设计、高可靠性和出色的可扩展性,成为了处理大...
- 提供了快速开始的指南,帮助用户迅速搭建起HBase的运行环境。 2. 配置部分: - 说明了运行HBase的基础设施和运行模式(独立或分布式)。 - 介绍了配置文件的位置和结构,如hbase-site.xml、hbase-env.sh等。 ...
HBase是Apache软件基金会的一...总的来说,`hbase-0.94.27.tar.gz`包含了一个完整的HBase实例,开发者和管理员可以解压这个文件,在本地或集群环境中搭建并运行HBase,从而利用其强大的分布式存储能力处理大规模数据。
2. **环境变量**: 配置 HBase 环境变量,如 `source /etc/profile`,确保所有节点都能找到 HBase。 3. **配置文件**: 在 `hbase-site.xml` 中配置 HBase 为分布式模式,指定 HDFS 存储路径、ZooKeeper 集群地址和...
最后,为了运行这个demo,开发者需要在本地或者集群上安装并配置好HBase和ZooKeeper,然后配置Spring项目中的HBase连接参数。运行应用后,就可以通过控制台日志或测试结果验证Spring与HBase的整合是否成功。 总的来...
《HBase与Phoenix:在本地环境中的测试与应用》 HBase与Phoenix是两种在大数据领域广泛应用的技术。HBase,作为一个分布式、列式存储的NoSQL数据库,以其强大的实时读写能力和大规模数据处理能力,成为了大数据存储...
在本地开发HBase程序时,虽然本地编译能够通过(因为在IDE中已经导入了必要的jar包),但在打包jar并尝试在Linux环境下使用`hadoop jar`命令运行时出现找不到类的错误。这个问题的原因在于Linux环境中的HBase lib...
搭建一个完整的Hadoop单机版、HBase单机版以及Pinpoint与SpringBoot的整合环境,需要对大数据处理框架和微服务监控有深入的理解。在这个过程中,我们将涉及到以下几个关键知识点: 1. **Hadoop单机版**:Hadoop是...
在搭建HBase集群时,你需要根据实际的硬件资源和网络环境,正确配置这些参数。例如,为了提高HBase的性能,可能需要调整`hbase.hregion.max.filesize`来控制Region的大小,或者通过`hbase.hstore.blockingStoreFiles...
伪分布式安装是在单台机器上模拟多节点环境,既保留了分布式系统的基本特性,又降低了硬件需求,是学习和测试Hadoop及HBase的理想方式。以下是具体的步骤: 1. **环境准备**:确保你的机器上安装了Java环境,Hadoop...
本文将详述如何在多节点环境中搭建一个HBase集群,包括单机部署和集群部署的步骤。 首先,我们从单机部署开始。在Linux环境下,你需要下载HBase的安装包,例如hbase-0.98.17-hadoop2,并通过`tar -zxvf hbase-0.98....
本文档将详细探讨HBase的性能优化相关知识点,希望对初学者及高级程序员都有所帮助。 首先,HBase提供了web前台接口用于访问。HBase通过一个默认的web端口60010为客户端访问服务,这使得用户可以在web浏览器或其他...
首先,确保你的开发环境已经配置了HBase的Java客户端库。这通常可以通过在`pom.xml`(如果你使用的是Maven)或`build.gradle`(如果你使用的是Gradle)文件中添加HBase的依赖来完成。对于Maven,你可以添加如下依赖...
这篇笔记详细指导了初学者如何从零开始构建Hadoop和HBase环境,对于想要学习分布式存储和计算的人来说,是一个宝贵的资源。通过这个过程,你可以深入了解Hadoop和HBase的工作原理,为后续的分布式应用开发打下坚实...
Java运行环境(JDK)是Hadoop、HBase和Hive运行的必要条件。文中提到的JDK版本为1.6,虽然现在可能更推荐使用更高版本的JDK,但1.6在当时是广泛支持的稳定版本。配置`.bash_profile`文件中的环境变量,如`JAVA_HOME`...