`
Donald_Draper
  • 浏览: 979911 次
社区版块
存档分类
最新评论

HBase1.2.1环境搭建

阅读更多
HBase基础知识:http://www.oschina.net/p/hbase?fromerr=ID1FbvFf
0.硬件环境:三台机器Ubuntu15.10内存1.5G硬板20G
1.name Ubuntu15.10内存1.5G硬板20G
2.sname Ubuntu15.10内存1.5G硬板20G
3.amrm Ubuntu15.10内存1.5G硬板20G
安装前的基本要求,安装zookeeper集群在三台机器上,ssh可无密码登陆
1.配置hosts
Sudo Vim /etc/hosts
127.0.0.1 localhost
192.168.159.136 name
192.168.159.135 sname
192.168.159.132 amrm

2.解除 Linux 系统的最大进程数和最大文件打开数限制:
        vim /etc/security/limits.conf
       
 # 添加如下的行
        * soft noproc 32000
          * hard noproc 32000
          * soft nofile 32768
          * hard nofile 32768

说明:* 代表针对所有用户,noproc 是代表最大进程数,nofile 是代表最大文件打开数

3.配置环境变量
sudo vim ~/.bahsrc 或/etc/profile
# the variable for hadoop
export JAVA_HOME=/usr/lib/java/jdk1.7.0_79
export JRE_HOME=${JAVA_HOME}/jre
export CLASS_PATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export HADOOP_HOME=/hadoop/hadoop-2.7.1
export HBASE_HOME=/hadoop/hbase-1.2.1
export ZOOKEEPER_HOME=/hadoop/zookeeper-3.4.6
export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${ZOOKEEPER_HOME}/bin:${HBASE_HOME}/bin:${PATH}
export HADOOP_MAPRED_HOME=${HADOOP_HOME}
export HADOOP_COMMON_HOME=${HADOOP_HOME}
export HADOOP_HDFS_HOME=${HADOOP_HOME}
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP}/lib/native
export YARN_HOME=${HADOOP_HOME}
export HADOOP_OPT="-Djava.library.path=${HADOOP_HOME}/lib/native"


4.修改$HBASE_HOME/conf/hbase-env.sh
export JAVA_HOME=/usr/lib/java/jdk1.7.0_79
export HBASE_OPTS="-Xmn150m"<!--jvm 年轻代大小,-Xmx,堆最大,-Xms,初始化堆大小-->
<!-- jvm GC策咯,当年老代使用了80%时回收内存,XX:+UseParNewGC:设置年轻代为并发回收 -XX:+UseConcMarkSweepGC:设置年老代为并发回收-->
export SERVER_GC_OPTS="-XX:CMSInitiatingOccupancyFraction=80 -XX:+UseParNewGC -XX:+UseConcMarkSweepGC"
export HBASE_MANAGES_ZK=false<!--HBase不用管理自己的zookeeper实例,zookeeper集群自己管理-->

5.修改文件hbase-site.xml,修改内容如下

<configuration>
    <property>  
           <name>hbase.rootdir</name>  
           <value>hdfs://name:9000/hbase</value>  
    </property>  
    <property>  
           <name>hbase.cluster.distributed</name>  
           <value>true</value>  
    </property>  
    <property>  
           <name>hbase.zookeeper.quorum</name>  
           <value>name,sname,amrm</value>  
    </property>  
    <property>  
           <name>dfs.replication</name>  
           <value>3</value>  
    </property>  
</configuration>

6.修改文件regionservers,修改内容如下
sname
amrm

注:修改backup-masters每行一个主机名,代表备用master提高,可用性及健壮性。
sname
7.启动Hbase
start-hbase.sh

8.启动hbase shell,进入shell环境
hbase shell

8.1创建表
create 'users','user_id','address','info'

         (说明:表users,有三个列族user_id,address,info)
8.2列出全部表
list
  
8.3得到表的描述
describe 'users'

8.4添加记录
put ‘表名’,’行键(标识)’,’列族:字段’,’数值’
示例:
1.put 'users','xiaoming','info:age','24';  
2.put 'users','xiaoming','info:birthday','1987-06-17';  
3.put 'users','xiaoming','info:company','alibaba';  
4.put 'users','xiaoming','address:contry','china';  
5.put 'users','xiaoming','address:province','zhejiang';  
6.put 'users','xiaoming','address:city','hangzhou';  
7.put 'users','zhangyifei','info:birthday','1987-4-17';  
8.put 'users','zhangyifei','info:favorite','movie';  
9.put 'users','zhangyifei','info:company','alibaba';  
10.put 'users','zhangyifei','address:contry','china';  
11.put 'users','zhangyifei','address:province','guangdong';  
12.put 'users','zhangyifei','address:city','jieyang';  
13.put 'users','zhangyifei','address:town','xianqiao' 
 
8.5获取一条记录
1. 取得一个id的所有数据
1.>get 'users','xiaoming' 
 
2.       获取一个id,一个列族的所有数据
1.>get 'users','xiaoming','info'  

3.       获取一个id,一个列族中一个列的所有数据
1.>get 'users','xiaoming','info:age'
  
8.6更新记录
1.>put 'users','xiaoming','info:age' ,'29'  
2.>get 'users','xiaoming','info:age'  
3.>put 'users','xiaoming','info:age' ,'30'  
4.>get 'users','xiaoming','info:age' 
 
8.7获取单元格数据的版本数据
1.>get 'users','xiaoming',{COLUMN=>'info:age',VERSIONS=>1}  
2.>get 'users','xiaoming',{COLUMN=>'info:age',VERSIONS=>2}  
3.>get 'users','xiaoming',{COLUMN=>'info:age',VERSIONS=>3} 
 

8.8获取单元格数据的某个版本数据
1.〉get 'users','xiaoming',{COLUMN=>'info:age',TIMESTAMP=>1364874937056} 
 

8.9全表扫描
1.>scan 'users' 
 
8.10删除xiaoming值的'info:age'字段
1.>delete 'users','xiaoming','info:age' 
2.>get 'users','xiaoming' 
 
8.11删除整行
1.>deleteall 'users','xiaoming' 
 
8.12统计表的行数
1.>count 'users' 
 

8.13清空表
1.>truncate 'users' 
 
分享到:
评论

相关推荐

    Hadoop2.7.1+Hbase1.2.1集群环境搭建(7)hbase 性能优化

    本篇将详细阐述如何在Hadoop 2.7.1环境下搭建HBase 1.2.1集群,并进行性能优化,以提升系统效率。 首先,我们需要了解Hadoop和HBase的基本概念。Hadoop是基于分布式文件系统HDFS(Hadoop Distributed File System)...

    基于虚拟机集hbase1.2.1配置文件

    这里提到的"基于虚拟机集hbase1.2.1配置文件"是针对一个由一个Master节点和三个Slave节点构成的HBase集群的配置。下面我们将详细探讨这些配置文件及其重要性。 首先,`hbase-site.xml`是HBase的主要配置文件,它...

    Linux环境Hadoop2.6+Hbase1.2集群安装部署

    在本篇文章中,我们将详细介绍如何在Linux环境下搭建Hadoop 2.6和HBase 1.2集群。该教程涵盖了从环境准备、Hadoop与HBase的安装配置到集群的测试等全过程。通过以下步骤,读者可以了解到不同运行模式下的具体操作...

    hadoop2.6.3-spark1.5.2-hbase-1.1.2-hive-1.2.1-zookeeper-3.4.6安装指南

    在搭建大数据处理平台时,Hadoop是基础组件,而Hadoop 2.6.3、Spark 1.5.2、HBase 1.1.2、Hive 1.2.1和Zookeeper 3.4.6是常见的版本组合,这些组件的整合安装对于构建分布式计算环境至关重要。以下是对这些组件及其...

    hadoop-1.2.1 + zooKeeper3.4.5 + hbase-0.94集群安装部署

    企业内部实际 hadoop zookeeper hbase搭建步骤明细

    hbase基础安装教程.pdf

    - **前提条件**:已经搭建好了 Hadoop 完全分布式环境。 - **配置步骤**与单机模式类似,但需要额外配置 Master 和 Slave 节点的信息,以及更复杂的 ZooKeeper 配置等。 - **具体操作**包括但不限于修改 `hbase-site...

    hadoop hive hbase安装过程

    2. **配置环境变量**:编辑 `/etc/profile` 文件,添加 HBase 的环境变量: ```bash export HBASE_HOME=/home/hadoop/hbase-0.98.10 export PATH=$PATH:$HBASE_HOME/bin ``` 3. **配置 HBase 属性文件**:编辑 ...

    Hadoop(Hbase)的安装部署与配置实验

    通过本次实验, 学习者掌握了Hadoop和HBase的基本安装与配置流程, 包括搭建实验环境、配置Hadoop与HBase、测试集群以及解决常见问题等关键技能。这些步骤对于理解和实践大数据处理技术至关重要, 也为后续深入学习打下...

    hive1.2.1安装包及安装配置文档.rar

    在本压缩包"hive1.2.1安装包及安装配置文档"中,包含了Hive 1.2.1版本的安装程序以及相关的配置文档,这些都是搭建和管理Hive环境所必需的关键资料。 一、Hive 1.2.1简介 Hive 1.2.1是Hive的稳定版本之一,主要为大...

    Hadoop云计算平台搭建最详细过程(共22页).docx

    本教程将详细介绍在Linux环境下搭建Hadoop云计算平台的过程,包括Hbase、Pig、Hive、Zookeeper、Ganglia、Chukwa和Eclipse等相关组件的安装。 **一、安装环境准备** 1. **系统要求**:Hadoop在Linux集群上得到了...

    Hbase入门详解

    1. 下载HBase的安装包,例如`hbase-1.2.1-bin.tar.gz`。 2. 规划安装目录,例如`/export/servers`。 3. 将安装包上传至服务器并解压。 4. 修改配置文件,如`hbase-env.sh`配置Java环境变量和HBase管理ZooKeeper的...

    Hadoop云计算平台搭建最详细过程(共22页).pdf

    本文将详细介绍如何在Linux环境下搭建一个包含Hbase、Pig、Hive、Zookeeper、Ganglia、Chukwa以及Eclipse插件的Hadoop云计算平台。 首先,安装环境的选择至关重要。Hadoop官方推荐在Linux系统上构建集群,因为...

    第15章-Sqoop+Hive+Hbase+Kettle+R某技术论坛日志分析项目案例.docx

    3. **Hadoop安装与配置**:搭建分布式文件系统HDFS,用于存储大规模数据集。 4. **HDFS数据上传**:将数据集上传至HDFS,准备数据处理。 5. **Kettle数据过滤**:使用Kettle对原始数据进行清洗和预处理。 6. **Hive...

    hadoop集群安装

    首先,我们需要准备的软件和环境是:Windows 7操作系统、VMware 10虚拟化平台、CentOS Linux发行版、JDK 1.7、Hadoop 1.2.1、HBase 0.94.7、Hive 0.9以及Zookeeper 3.4.5。在Wmware中,我们将创建三个虚拟机,分别...

    大数据搭建Hadoop平台资源

    jdk-8u25-linux-x64.tar.gz hadoop-2.7.1.tar.gz zookeeper-3.4.6.tar.gz hbase-1.1.5-bin.tar.gz mysql-connector-java-5.1.27-bin.jar apache-hive-1.2.1-bin.tar.gz

Global site tag (gtag.js) - Google Analytics