`
kanpiaoxue
  • 浏览: 1782079 次
  • 性别: Icon_minigender_1
  • 来自: 北京
文章分类
社区版块
存档分类
最新评论

本地搭建hbase的环境

 
阅读更多


最近要用到hbase,需要开发一个程序。总不能跑到线上环境的hbase搞吧?万一出问题就不是小事。

从docker 的hub 拉取镜像: harisekhon/hbase:1.3

地址:https://hub.docker.com/layers/harisekhon/hbase/1.3/images/sha256-c4e4aba496437bb5edcb6d94c9dc0283871c3710757642bc5b6790bbf6ac45ed?context=explore

 

参考github的项目:tanwenliang/spring-boot-hbase-example

https://github.com/tanwenliang/spring-boot-hbase-example

还有另一个项目:

https://liudanking.com/arch/setup-hbase-local-env-for-mac-with-docker/

 

1、按照上面的参考资料docker本地拉取镜像

docker pull harisekhon/hbase:1.3

 2、启动容器

docker run -d -h myhbase -p 2181:2181 -p 8080:8080 -p 8085:8085 -p 9090:9090 -p 9095:9095 -p 16000:16000 -p 16010:16010 -p 16201:16201 -p 16301:16301 --name hbase1.3 harisekhon/hbase:1.3

 3、eclipse中启动springboot的程序

 

问题来了:

日志显示连接到zk是成功的,但是一直卡住无法访问hbase的server。等了一会就超时,报错:

org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=36, exceptions:
Mon Apr 02 11:30:11 CST 2018, null, java.net.SocketTimeoutException: callTimeout=60000, callDuration=76915: Connection refused:

 排查了好久,发现docker的hbase暴露的端口变了,需要添加一个 16020的端口:-p 16020:16020

为了可以在web里面查看hbase的更多信息,需要添加一个端口:-p 16030:16030

最后启动docker的hbaes容器命令为:

 

docker run -d -h myhbase -p 2181:2181 -p 8080:8080 -p 8085:8085 -p 9090:9090 -p 9095:9095 -p 16000:16000 -p 16010:16010 -p 16020:16020 -p 16201:16201 -p 16301:16301 -p 16030:16030 --name hbase1.3 harisekhon/hbase:1.3

 

程序正常了。

 

分享到:
评论

相关推荐

    HBase单机环境搭建(超细)

    ### HBase 单机环境搭建详解 #### 一、安装前置条件说明 ##### 1.1 JDK 版本说明 HBase 的运行依赖于 Java 环境,且自 HBase 2.0+ 版本起,已不再支持 JDK 1.7,因此必须安装 JDK 1.8 或更高版本。尽管文档中未...

    hadoop及hbase部署与应用

    【Hadoop及Hbase部署与应用】涉及到的关键知识点如下: 1. **Hadoop基础**: - Hadoop是一个开源的分布式计算框架,基于Java开发,主要用于处理和存储大规模数据。它由两个主要组件组成:HDFS(Hadoop Distributed...

    windows10 搭建最新的 hadoop 3.1.3 和 hbase 2.2.2 测试环境 配置文件

    在Windows 10环境下搭建Hadoop 3.1.3和HBase 2.2.2测试环境是一项技术性较强的任务,涉及到多个组件的安装、配置以及相互间的协同工作。以下将详细介绍如何进行这一过程,以及相关的配置文件作用。 首先,我们需要...

    hbase单机搭建文档1

    【HBase 单机环境搭建】 在搭建 HBase 单机环境时,首要任务是确保你的系统已经安装了 Java 环境。HBase 的运行依赖于 Java,因此需要设置 `JAVA_HOME` 环境变量指向 JDK 的安装路径。例如,在这个环境中,`JAVA_...

    Hbase个人总结

    通过以上步骤,可以在本地环境中搭建起一个简单的HBase实例,为进一步学习和实践打下基础。 总之,HBase作为一种高性能的非关系型数据库系统,以其独特的面向列存储设计、高可靠性和出色的可扩展性,成为了处理大...

    Hbase 官方中文文档

    - 提供了快速开始的指南,帮助用户迅速搭建起HBase的运行环境。 2. 配置部分: - 说明了运行HBase的基础设施和运行模式(独立或分布式)。 - 介绍了配置文件的位置和结构,如hbase-site.xml、hbase-env.sh等。 ...

    hbase-0.94.27.tar.gz

    HBase是Apache软件基金会的一...总的来说,`hbase-0.94.27.tar.gz`包含了一个完整的HBase实例,开发者和管理员可以解压这个文件,在本地或集群环境中搭建并运行HBase,从而利用其强大的分布式存储能力处理大规模数据。

    hbase的搭建

    2. **环境变量**: 配置 HBase 环境变量,如 `source /etc/profile`,确保所有节点都能找到 HBase。 3. **配置文件**: 在 `hbase-site.xml` 中配置 HBase 为分布式模式,指定 HDFS 存储路径、ZooKeeper 集群地址和...

    spring与hbase整合demo

    最后,为了运行这个demo,开发者需要在本地或者集群上安装并配置好HBase和ZooKeeper,然后配置Spring项目中的HBase连接参数。运行应用后,就可以通过控制台日志或测试结果验证Spring与HBase的整合是否成功。 总的来...

    hbase+phoenix 本机测试文档

    《HBase与Phoenix:在本地环境中的测试与应用》 HBase与Phoenix是两种在大数据领域广泛应用的技术。HBase,作为一个分布式、列式存储的NoSQL数据库,以其强大的实时读写能力和大规模数据处理能力,成为了大数据存储...

    hbase常见错误整理3年运维经验整理

    在本地开发HBase程序时,虽然本地编译能够通过(因为在IDE中已经导入了必要的jar包),但在打包jar并尝试在Linux环境下使用`hadoop jar`命令运行时出现找不到类的错误。这个问题的原因在于Linux环境中的HBase lib...

    搭建hadoop单机版+hbase单机版+pinpoint整合springboot.zip

    搭建一个完整的Hadoop单机版、HBase单机版以及Pinpoint与SpringBoot的整合环境,需要对大数据处理框架和微服务监控有深入的理解。在这个过程中,我们将涉及到以下几个关键知识点: 1. **Hadoop单机版**:Hadoop是...

    HBase配置文件

    在搭建HBase集群时,你需要根据实际的硬件资源和网络环境,正确配置这些参数。例如,为了提高HBase的性能,可能需要调整`hbase.hregion.max.filesize`来控制Region的大小,或者通过`hbase.hstore.blockingStoreFiles...

    Hadoop2.7.5-HBase1.2.6伪分布式安装

    伪分布式安装是在单台机器上模拟多节点环境,既保留了分布式系统的基本特性,又降低了硬件需求,是学习和测试Hadoop及HBase的理想方式。以下是具体的步骤: 1. **环境准备**:确保你的机器上安装了Java环境,Hadoop...

    hbase集群搭建(自整)

    本文将详述如何在多节点环境中搭建一个HBase集群,包括单机部署和集群部署的步骤。 首先,我们从单机部署开始。在Linux环境下,你需要下载HBase的安装包,例如hbase-0.98.17-hadoop2,并通过`tar -zxvf hbase-0.98....

    hbase性能优化

    本文档将详细探讨HBase的性能优化相关知识点,希望对初学者及高级程序员都有所帮助。 首先,HBase提供了web前台接口用于访问。HBase通过一个默认的web端口60010为客户端访问服务,这使得用户可以在web浏览器或其他...

    使用Java API连接虚拟机HBase并进行数据库操作,Java源代码

    首先,确保你的开发环境已经配置了HBase的Java客户端库。这通常可以通过在`pom.xml`(如果你使用的是Maven)或`build.gradle`(如果你使用的是Gradle)文件中添加HBase的依赖来完成。对于Maven,你可以添加如下依赖...

    Hadoop与HBase自学笔记

    这篇笔记详细指导了初学者如何从零开始构建Hadoop和HBase环境,对于想要学习分布式存储和计算的人来说,是一个宝贵的资源。通过这个过程,你可以深入了解Hadoop和HBase的工作原理,为后续的分布式应用开发打下坚实...

    hadoop+hbase+hive集群搭建

    Java运行环境(JDK)是Hadoop、HBase和Hive运行的必要条件。文中提到的JDK版本为1.6,虽然现在可能更推荐使用更高版本的JDK,但1.6在当时是广泛支持的稳定版本。配置`.bash_profile`文件中的环境变量,如`JAVA_HOME`...

Global site tag (gtag.js) - Google Analytics