软件环境
RedHat5.4 x64
hadoop-1.1.1
http://mirror.bjtu.edu.cn/apache/hadoop/common/hadoop-1.1.1/hadoop-1.1.1-bin.tar.gz
hbase-0.94.4
http://mirror.bjtu.edu.cn/apache/hbase/stable/hbase-0.94.4.tar.gz
java jdk1.6
jdk安装和配置
略过...
安装和配置ssh
确认ssh是否安装
[root@localhost ~]# which ssh
/usr/bin/ssh
[root@localhost ~]# which sshd
/usr/sbin/sshd
[root@localhost ~]# which ssh-keygen
/usr/bin/ssh-keygen
配置SSH,使其可以自动登录
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
测试:$ ssh localhost
关闭防火墙
这个非常坑爹,一定要关了。
$ chkconfig iptables off
配置hadoop
配置hadoop
将hadoop解压后,配置conf目录下的四个文件:
conf/core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.3.206:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/var/log/hadoop_data</value>
</property>
</configuration>
conf/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
conf/mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.3.206:8021</value>
</property>
</configuration>
conf/hadoop-env.sh
将 #export JAVA_HOME=/usr/lib/jvm/java-6-sun
改为 export JAVA_HOME=***/***(自己的JAVA_HOME的主目录)
通过以上步骤hadoop即安装配置完成,进入bin目录
$./start-all.sh //启动hadoop的各个监护进程
可以通过http://localhost:50070 和http://localhost:50030 查看namenode和jobtracker。
$./stop-all.sh //关闭hadoop的各个监护进程
配置hbase
./hbase-0.94.4 /conf/hbase-env.sh
修改下面的行:
# export JAVA_HOME=/usr/java/jdk1.6.0/
export JAVA_HOME=/usr/java/jdk1.6.0_38
# export HBASE_MANAGES_ZK=true
export HBASE_MANAGES_ZK=true
./hbase-0. 94.4/conf/hbase-site.xml
修改为下面的:
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://192.168.3.206:8020/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>192.168.3.206</value>
</property>
</configuration>
hdfs://192.168.3.206:8020与hadoop中core-site.xml的配置项一致
替换Hbase中的jar包
需要{HADOOP_HOME}下hadoop-core-*.jar和{HBASE_HOME}/lib下hadoop-core-*.jar保持一致。如果不一致Hbase启动时会因为hadoop和Hbase的客户端协议不一致而导致HMaster启动异常。报错如下:
localhost: Exception in thread "main" org.apache.hadoop.ipc.RPC$VersionMismatch: Protocol org.apache.hadoop.hdfs.protocol.ClientProtocol version mismatch. (client = 42, server = 41)
设置hosts
[root@xiekang-pc bin]# cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1 localhost localhost
192.168.3.206 xiekang-pc xiekang-pc
启动
完成以上操作,就可以正常启动Hbase了,启动顺序:先启动Hadoop,再启动Hbase,关闭顺序:先关闭Hbase,再关闭Hadoop。
官网资料
部分翻译过的中文资料,解决了我的阅读障碍。。。
http://abloz.com/hbase/book.html
分享到:
相关推荐
本文档旨在指导读者在单一节点上搭建HBase伪分布式运行环境,包括Hadoop集群的搭建和HBase的配置。 一、准备工作 在开始搭建HBase伪分布式运行环境之前,需要准备以下三个安装文件:hadoop-3.3.4.tar.gz、jdk-8u...
在深入探讨Windows7下使用Eclipse调试Fedora虚拟机上的Hadoop+hBase伪分布式之前,我们首先需要理解这个环境配置的核心要素。本文将详细介绍如何在有限的资源条件下,利用Windows7作为主机,通过VMware虚拟化技术...
进行HBase的伪分布式安装,首先需要解压HBase的压缩包,例如`tar xfz hbase-0.94.18.tar.gz`,然后进入解压后的目录`cd hbase*`并打开配置文件`conf/hbase-env.sh`,设置`JAVA_HOME`环境变量。接着,在`conf/hbase-...
4. **配置HBase**:同样在HBase目录下,修改`conf/hbase-site.xml`,设置`hbase.rootdir`为`hdfs://localhost:9000/hbase`,指向HDFS上的HBase目录,`hbase.cluster.distributed`设为`false`,表示伪分布式模式。...
│ Day1505_Hbase伪分布式配置文件的修改.mp4 │ Day1506_Hbase伪分布式的启动及hbase命令的使用.mp4 │ Day1507_Hbase shell中namespace的常用操作.mp4 │ Day1508_Hbase shell中表的DDL操作.mp4 │ Day1509_Hbase ...
在IT领域,Hadoop和...总之,Hadoop 2.6和Hbase 0.96的伪分布式安装涉及多个步骤,包括环境设置、配置文件修改、服务启动以及验证。熟悉这些步骤和配置文件将帮助你有效地搭建和管理Hadoop和HBase的开发或测试环境。
【标题】:“Hadoop伪分布式配置详解” 【描述】:本文档详细介绍了如何在Ubuntu 10.10操作系统上,使用Hadoop 0.20.2版本搭建Hadoop的伪分布式环境,包括所有必要的配置步骤和注意事项。 【正文】: 在Hadoop的...
hadoop2.4.1伪分布式搭建 包含网络配置修改 无密码登录
HBase是一种分布式、基于列族的NoSQL数据库,由Apache Hadoop项目开发,设计用于处理大规模数据集。本文将深入探讨HBase的安装过程以及基本使用方法,旨在帮助初学者快速上手。 **一、HBase简介** HBase是Google ...
Hadoop伪分布式安装及配置参考步骤 Hadoop是一种分布式系统基础架构,由Apache基金会开发,能够对大量数据进行分布式处理和存储。用户可以轻松地在Hadoop集群上开发和运行处理海量数据的应用程序。Hadoop具有高可靠...
- **Hadoop**: HBase 需要在 Hadoop 分布式文件系统 (HDFS) 上运行,因此需预先安装配置好 Hadoop。 ##### 2. 下载与解压 - 下载 HBase 的最新版本或者特定版本。 - 将下载好的 HBase 包解压到合适的目录下。 ####...
- **依赖软件**:HBase需要Java环境和Hadoop(至少在伪分布式和分布式模式下)。确保已经正确安装和配置了JDK和Hadoop。 - **SSH配置**:在分布式模式下,HBase需要SSH无密码登录,确保所有节点间的SSH配置正确。 ...
2. **HBase伪分布式部署**: 实验的第一部分介绍了如何在Ubuntu环境下进行HBase的单机和伪分布式部署。首先,确保已安装Hadoop、JDK、HBase和Zookeeper。然后,在Hbase的`hbase-env.sh`文件中配置JAVA_HOME,并在`...
2. 修改/hbase-site.xml文件,设置hbase.rootdir为HDFS上的存储路径,hbase.cluster.distributed为true以启用分布式模式,同时配置hbase.zookeeper.quorum为ZooKeeper的地址(在伪分布式模式中通常设为localhost)。...
在本次实验中,我们将学习如何在Linux环境下,以伪分布式的方式安装和配置HBase,以及验证其安装是否成功。 一、实验目标 1. 掌握HBase的伪分布式安装过程。 2. 验证HBase的安装是否成功。 3. 使用Web UI管理界面...
本教程使用的系统环境是 Ubuntu 系统,如果读者使用 Mac 系统,请访问教程:Mac 安装 Hbase-伪分布式配置。HBase 的官方网站为 http://hbase.apache.org/。 在安装 HBase 之后,需要添加 HBase 权限,将 hbase 下的...
【虚拟机搭建Hadoop伪分布式及Hbase】的文档主要涉及了如何在虚拟机环境下配置Hadoop和Hbase。下面将详细阐述整个过程的关键步骤和相关知识点。 首先,我们需要准备必要的软件,包括虚拟机软件VMware 16.0、Ubuntu ...
本文档主要讲述了使用 VMware 搭建伪分布式环境的步骤,包括虚拟机的安装、网络配置、JDK 的安装、Hadoop、HBase 和 Zookeeper 的安装等。 描述解读 该文档是根据老师讲的笔记记录的环境搭建笔记,供以后使用。该...