公司项目组需要在异地机房进行测试,买的是阿里云的机器,领导一句话花最少的钱办最大的事情,所以预算是一台机器,一core的cpu,4G内存,20G硬盘,想在这上面搭建一套高大上的HBase
,这就好比给你一包方便面想让你做出一桌满汉全席出来, 尼玛这不是为难我吗!!
好吧,吐槽完之后该搬砖还得搬砖,最开始想法是搭建最简单的standlone版本的HBase,只需要基于local file,结果按照guide折腾半天起不来,感觉这种方案非常不靠谱的样子,只好退而
求其次,搭建伪分布环境的HBase,好吧,下面是搭建过程。
1. 前戏-版本依赖
hbase和hadoop是两个专情又有强迫症的二货,对于兼容性要求很高,安装之前请自行关注版本是否匹配,我这次使用的是hbase-0.94.12和hadoop-0.20,如果版本不对后续会遇到各种莫名其
妙的坑爹错误
2. 过程-HBase配置文件修改
hbase-env.sh 需要改的地方
JAVA_HOME=/opt/taobao/java
export JAVA_HOME=${JAVA_HOME}
export HBASE_CLASSPATH=/home/admin/hadoop-0.20/conf/
export HBASE_MANAGES_ZK=true
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
/**
* Copyright 2010 The Apache Software Foundation
*
* Licensed to the Apache Software Foundation (ASF) under one
* or more contributor license agreements. See the NOTICE file
* distributed with this work for additional information
* regarding copyright ownership. The ASF licenses this file
* to you under the Apache License, Version 2.0 (the
* "License"); you may not use this file except in compliance
* with the License. You may obtain a copy of the License at
*
* http://www.apache.org/licenses/LICENSE-2.0
*
* Unless required by applicable law or agreed to in writing, software
* distributed under the License is distributed on an "AS IS" BASIS,
* WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
* See the License for the specific language governing permissions and
* limitations under the License.
*/
-->
<configuration>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:9000/hbase</value>
</property>
</configuration>
3. 过程-Hadoop配置文件修改
core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/admin/hadoop-1.2.1/hadoopfs/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
4. 注意事项
如果发现本机可以访问,但远程主机无法访问,检查一下/etc/hosts,可能需要绑定hosts
相关推荐
总结来说,伪分布式Hadoop搭建涉及了HDFS、MapReduce、Hive、HBase和Storm等多个组件,这些技术一起构建了一个完整的数据处理生态系统。HDFS提供存储,MapReduce负责计算,Hive提供数据分析的SQL接口,HBase满足实时...
内容概要:本文详细讲解了HBase的安装配置流程及其基本操作方法,从回顾Hadoop和Zookeeper开始,介绍了不同安装方式如单机版、伪分布版以及全分布式版本,重点强调了配置Hbase-env.sh和hbase-site.xml文件的内容,如...
该文档详细记录了伪分布式环境的搭建过程,包括虚拟机的安装、网络配置、JDK 的安装、Hadoop、HBase 和 Zookeeper 的安装等。 标签解读 分布式存储、分布式数据库是该文档的关键词。该文档主要讲述了使用 VMware ...
根据老师讲授所记录的环境搭建笔记,供以后使用。(接之前的伪分布式安装)
环境搭建是进行大数据分析的基础,确保能够有效地运行各种工具和算法。下面将详细阐述大数据分析的关键知识点以及如何搭建一个高效的大数据环境。 1. **大数据组件与技术** - **Hadoop**:Apache Hadoop 是大数据...
#### 四、Hadoop 伪分布模式搭建 - **步骤**: - 在单台机器上安装和配置Hadoop。 - 设置SSH无密码登录。 - 编辑配置文件以适应伪分布模式。 #### 五、Hadoop 完全分布式搭建 - **步骤**: - 在集群中安装和...
### Hadoop概述与集群搭建详解 #### 一、理解大数据 大数据是指无法通过传统数据库管理和处理的海量数据集合。...通过以上步骤,可以成功搭建Hadoop伪分布式集群,并为进一步的大数据分析和处理打下坚实的基础。
本文是继hadoop伪分布式安装文档后,又一篇详细介绍完全分布式安装hadoop的过程,并在此基础上,介绍了如何集成安装hbase和hive的详细步骤。 本文真实记录了我安装过程的每个细节,初学者,可按文档一步步轻松完成...
接下来,《Hadoop伪分布模式安装笔记成功版本在windows下的虚拟机但是里面没有windows下的eclipse的配置.pdf》这份文档详细记录了在Windows环境下使用虚拟机(如VMware或VirtualBox)安装Hadoop的步骤,特别是伪...
#### 四、Hadoop伪分布式集群的搭建 - **启动方式**: - **单机模式**: 所有处理都在一台机器上完成。 - **伪分布式**: 只有一台主机,在这台主机上启动多个进程,模拟多个节点的功能。 - **全分布式**: 真正由多...
- **Hadoop安装与配置**: 包括单机模式、伪分布式模式和完全分布式模式的搭建步骤。 - **Eclipse插件与IntelliJ IDEA支持**: 开发者可以使用这些集成开发环境(IDE)配合Hadoop插件进行便捷的开发。 - **Hadoop ...
#### 四、Hadoop集群搭建过程手记 **4.1 免密码SSH设置**:这是为了能够在不同的节点之间无密码执行命令。 **4.2 Hadoop软件安装**:在每个节点上安装Hadoop软件。 **4.3 Master配置**:配置主节点,包括NameNode...
#### 2.1 环境搭建 - **单机模式**:适用于测试环境,不使用任何网络功能。 - **伪分布式模式**:在单台机器上模拟集群环境,用于调试和测试。 - **完全分布式模式**:实际部署时使用的模式,需要多台物理服务器。 ...
1105.5 小结 1115.6 更多资源 112第6章 编程实践 1136.1 开发MapReduce程序 1136.1.1 本地模式 1146.1.2 伪分布模式 1186.2 生产集群上的监视和调试 1236.2.1 计数器 1236.2.2 跳过坏记录 1256.2.3 用...
- **安装部署和环境搭建** - **Standalone/伪集群模式**: 适用于开发测试环境。 - **集群模式**: 适用于生产环境。 - **常用操作** - **基本Shell命令**: 提供了一系列命令来进行数据操作。 - **状态/版本/帮助...