HBase安装笔记
经过几天的研究，终于把最新版的hbase和hadoop安装起来了，中间遇到了各种各样的问题啊，记录下来以免其它人走弯路。有时间的时候，再把遇到的各种问题总结一下。
1. 从官网下载Hbase(0.96.0)和Hadoop(2.2.0), 因为服务器是64bit的，所以只能下载hadoop2.2.0的源码，自己编译。
1.1 如果要编译本地库，需要安装一下软件：
yum -y install lzo-devel zlib-devel gcc autoconf automake libtool cmake openssl-devel
1.2 安装Maven
tar zxvf apache-maven-3.1.1-bin.tar.gz
vi /etc/profile
增加两行：
export MAVEN_HOME=[maven home path]
export PATH=${MAVEN_HOME}/bin:$PATH
1.3 安装ProtocolBuffer
tar zxvf protobuf-2.5.0.tar.gz
cd protobuf-2.5.0
sudo ./configure
sudo make
sudo make check
sudo make install
protoc --version
1.4 编译hadoop2.2.0
mvn clean package -Pdist,native -DskipTests -Dtar
编译成功后，./hadoop-dist/target/hadoop-2.2.0.tar.gz就是我们需要的文件了
2. 分配机器：
2.1 修改/etc/hosts文件
10.161.160.10 cloud001
10.161.160.11 cloud002
10.161.160.12 cloud003
2.2 分配hdfs的机器：
cloud001:namenode
cloud002:datanode
cloud003:datanode
2.3 分配hbase的机器：
cloud001:master
cloud002:regionserver
cloud003:regionserver
3. 设置ssh无需密码连接
3.1 在cloud001机器上运行ssh-keygen -t rsa命令，一路按回车结束后，会在~/.ssh下生成id_rsa.pub的文件
3.2 cp id_rsa.pub authorized_keys
3.3 ssh localhost 就能不需要密码直接连接自己了。
3.4 将zuthorized_keys文件拷贝到cloud002,cloud003机器的~/.ssh目录下
scp zuthorized_keys cloud002:/root/.ssh
4. 安装分布式hdfs
4.1 将编译好的hadoop-2.2.0.tar.gz文件拷贝到cloud002,cloud003上。注意：hadoop的路径要一致
4.2 解压：tar zxvf hadoop-2.2.0.tar.gz，配置文件路径./hadoop-2.2.0/etc/hadoop/
4.3 修改hadoop-env.sh文件中的export JAVA_HOME，将它改为JAVA_HOME的路径。所有机器上的jdk路径需要一致
4.4 修改core-site.xml文件
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://cloud001:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/hadoop/tmp</value>
</property>
</configuration>
4.5 修改hdfs-site.xml文件
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/hadoop/hdfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
注意：dfs.replication的数量必须小于或等于datanode的数量
4.6 修改slaves文件，设置datanode
cloud002
cloud003
4.7 格式化namenode，命令：hdfs namenode -format
4.8 启动hdfs，命令：./start-dfs.sh
4.9 产看hdfs状态，命令：hdfs dfsadmin -report
注意：一定要关闭防火墙，命令service iptables stop
5. 安装分布式hbase(使用hbase内置的zookeeper)
5.1 解压：tar zxvf hbase-0.96.0-hadoop2-bin.tar.gz
5.2 修改./conf/hbase-env.sh文件
export JAVA_HOME=your_java_home
export HBASE_MANAGES_ZK=true
5.3 修改./conf/hbase-site.xml文件
<configuration>
<property>
<name>hbase.master</name>
<value>cloud001:60000</value>
</property>
<property>
<name>hbase.rootdir</name>
<value>hdfs://cloud001:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>cloud001</value>
</property>
</configuration>
5.4 在hdfs上创建一个hbase的文件夹。hadoop fs -mkdir /hbase
5.5 修改./conf/regionservers文件，增加regionserver
cloud002
cloud003
5.6 将HBASE_DIR/lib下所有以hadoop开头的jar文件全部替换成2.2.0版本
5.7 启动hbase.
相关推荐
### Hadoop与HBase自学笔记知识点总结 #### 一、Hadoop与HBase简介 - **Hadoop**：是一款能够对大量数据进行分布式处理的软件框架。它通过提供高可靠性和高扩展性的分布式计算能力，使得用户能够在廉价的硬件设备...
同时，掌握HBase的安装、配置和基本操作，如创建表、插入数据、查询数据等，是学习HBase的基础。 【HBase与其他技术的集成】 HBase可以与Apache Spark集成，用于实时数据处理和分析。Phoenix是SQL查询引擎，允许...
在深入探讨HBase之前，我们先来了解一下HBase的基本概念。HBase是一个基于谷歌Bigtable理念设计的开源分布式数据库，它构建在Hadoop的HDFS之上，并依赖Zookeeper进行协调服务。HBase的设计目标是为了处理大规模的...
hadoop,hbase,zookeeper安装笔记hadoop,hbase,zookeeper安装笔记hadoop,hbase,zookeeper安装笔记
### HBase自学笔记知识点梳理 #### 一、HBase简介 **HBase** 是一个建立在 **Hadoop** 之上的非关系型数据库系统。它提供了实时数据读写能力，并且能够支持低延迟操作，这与传统的高延迟的Hadoop有所不同。作为...
hive编译,jars,HBaseScanner构建.pptx,HBase之RegionServer命令启动流程.pptx,扩展.docx,尚硅谷大数据技术之HBase.xmind,尚硅谷大数据技术之HBase.pdf等等 很全。
2. HBase的安装与配置：介绍如何在本地或集群环境中安装和配置HBase。 3. HBase源码解析：深入到HBase的源代码，理解其内部的工作机制，如数据读写流程、Region分裂等。 4. 使用HBase API：展示如何编写Java代码进行...
自己在大数据培训班学习整理的笔记，比较详细，适合新手学习，我感觉还是挺有帮助的，希望可以帮助到你
IT十八掌大数据第三期配套课堂笔记! 1 、HBase的特点 2 、HBase访问接口 3 、HBase存储结构与格式 4 、HBase设计 5 、关键算法和流程 6 、HBase安装 7、HBase的Shell操作 8、HBase客户端
在安装和配置HBase时，你需要下载HBase的镜像，解压后配置`conf/hbase-site.xml`文件，指定数据的存储路径。启动HBase后，你可以通过命令行界面（shell）进行交互操作，如创建表、插入数据、查询数据、删除表等。...
【HBase完整学习笔记】 HBase是一款开源的分布式NoSQL数据库，主要设计用于处理海量结构化数据，尤其适合大数据分析场景。它与传统的关系型数据库（如Oracle、MySQL）不同，采用列式存储方式，这使得HBase在压缩...
│ Day15[Hbase 基本使用及存储设计].pdf │ ├─02_视频 │ Day1501_Hbase的介绍及其发展.mp4 │ Day1502_Hbase中的特殊概念.mp4 │ Day1503_Hbase与MYSQL的存储比较.mp4 │ Day1504_Hbase部署环境准备.mp4 │ Day...
1. 安装Java：HBase依赖Java运行环境，确保JDK已正确安装。 2. 下载HBase：从Apache官网获取最新稳定版HBase。 3. 解压并配置环境变量：将HBase解压到合适目录，并在环境变量中配置HBASE_HOME。 4. 配置HBase：修改...
在本文档中，我们将深入探讨如何使用Java API与HBase数据库进行交互，特别是关于如何创建表、修改表结构以及批量插入数据。HBase是Apache的一个分布式、可扩展的大数据存储系统，它基于谷歌的Bigtable设计，适用于...
**HBase：分布式大数据存储系统** HBase，全称为Apache HBase，是构建在Hadoop文件系统（HDFS）之上的...这份"Hbase相关的笔记"很可能包含了关于HBase的基础概念、架构、操作和优化等内容，是深入学习HBase的好资源。
大数据集群 Hadoop HBase Hive Sqoop 集群环境安装配置及使用文档 在本文档中，我们将详细介绍如何搭建一个大数据集群环境，包括 Hadoop、HBase、Hive 和 Sqoop 的安装配置及使用。该文档将分为四部分：Hadoop 集群...
本篇笔记主要围绕这两个技术进行深入探讨，结合尚硅谷的视频教程资源，旨在帮助读者全面理解并掌握这两者的核心知识。 一、Zookeeper：分布式协调服务 Zookeeper是由Apache开发的一款开源分布式协调服务，它提供了...