HBase基础知识:
http://www.oschina.net/p/hbase?fromerr=ID1FbvFf
0.硬件环境:三台机器Ubuntu15.10内存1.5G硬板20G
1.name Ubuntu15.10内存1.5G硬板20G
2.sname Ubuntu15.10内存1.5G硬板20G
3.amrm Ubuntu15.10内存1.5G硬板20G
安装前的基本要求,安装zookeeper集群在三台机器上,ssh可无密码登陆
1.配置hosts
Sudo Vim /etc/hosts
127.0.0.1 localhost
192.168.159.136 name
192.168.159.135 sname
192.168.159.132 amrm
2.解除 Linux 系统的最大进程数和最大文件打开数限制:
vim /etc/security/limits.conf
# 添加如下的行
* soft noproc 32000
* hard noproc 32000
* soft nofile 32768
* hard nofile 32768
说明:* 代表针对所有用户,noproc 是代表最大进程数,nofile 是代表最大文件打开数
3.配置环境变量
sudo vim ~/.bahsrc 或/etc/profile
# the variable for hadoop
export JAVA_HOME=/usr/lib/java/jdk1.7.0_79
export JRE_HOME=${JAVA_HOME}/jre
export CLASS_PATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export HADOOP_HOME=/hadoop/hadoop-2.7.1
export HBASE_HOME=/hadoop/hbase-1.2.1
export ZOOKEEPER_HOME=/hadoop/zookeeper-3.4.6
export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${ZOOKEEPER_HOME}/bin:${HBASE_HOME}/bin:${PATH}
export HADOOP_MAPRED_HOME=${HADOOP_HOME}
export HADOOP_COMMON_HOME=${HADOOP_HOME}
export HADOOP_HDFS_HOME=${HADOOP_HOME}
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP}/lib/native
export YARN_HOME=${HADOOP_HOME}
export HADOOP_OPT="-Djava.library.path=${HADOOP_HOME}/lib/native"
4.修改$HBASE_HOME/conf/hbase-env.sh
export JAVA_HOME=/usr/lib/java/jdk1.7.0_79
export HBASE_OPTS="-Xmn150m"<!--jvm 年轻代大小,-Xmx,堆最大,-Xms,初始化堆大小-->
<!-- jvm GC策咯,当年老代使用了80%时回收内存,XX:+UseParNewGC:设置年轻代为并发回收 -XX:+UseConcMarkSweepGC:设置年老代为并发回收-->
export SERVER_GC_OPTS="-XX:CMSInitiatingOccupancyFraction=80 -XX:+UseParNewGC -XX:+UseConcMarkSweepGC"
export HBASE_MANAGES_ZK=false<!--HBase不用管理自己的zookeeper实例,zookeeper集群自己管理-->
5.修改文件hbase-site.xml,修改内容如下
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://name:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>name,sname,amrm</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>
6.修改文件regionservers,修改内容如下
sname
amrm
注:修改backup-masters每行一个主机名,代表备用master提高,可用性及健壮性。
sname
7.启动Hbase
start-hbase.sh
8.启动hbase shell,进入shell环境
hbase shell
8.1创建表
create 'users','user_id','address','info'
(说明:表users,有三个列族user_id,address,info)
8.2列出全部表
list
8.3得到表的描述
describe 'users'
8.4添加记录
put ‘表名’,’行键(标识)’,’列族:字段’,’数值’
示例:
1.put 'users','xiaoming','info:age','24';
2.put 'users','xiaoming','info:birthday','1987-06-17';
3.put 'users','xiaoming','info:company','alibaba';
4.put 'users','xiaoming','address:contry','china';
5.put 'users','xiaoming','address:province','zhejiang';
6.put 'users','xiaoming','address:city','hangzhou';
7.put 'users','zhangyifei','info:birthday','1987-4-17';
8.put 'users','zhangyifei','info:favorite','movie';
9.put 'users','zhangyifei','info:company','alibaba';
10.put 'users','zhangyifei','address:contry','china';
11.put 'users','zhangyifei','address:province','guangdong';
12.put 'users','zhangyifei','address:city','jieyang';
13.put 'users','zhangyifei','address:town','xianqiao'
8.5获取一条记录
1. 取得一个id的所有数据
1.>get 'users','xiaoming'
2. 获取一个id,一个列族的所有数据
1.>get 'users','xiaoming','info'
3. 获取一个id,一个列族中一个列的所有数据
1.>get 'users','xiaoming','info:age'
8.6更新记录
1.>put 'users','xiaoming','info:age' ,'29'
2.>get 'users','xiaoming','info:age'
3.>put 'users','xiaoming','info:age' ,'30'
4.>get 'users','xiaoming','info:age'
8.7获取单元格数据的版本数据
1.>get 'users','xiaoming',{COLUMN=>'info:age',VERSIONS=>1}
2.>get 'users','xiaoming',{COLUMN=>'info:age',VERSIONS=>2}
3.>get 'users','xiaoming',{COLUMN=>'info:age',VERSIONS=>3}
8.8获取单元格数据的某个版本数据
1.〉get 'users','xiaoming',{COLUMN=>'info:age',TIMESTAMP=>1364874937056}
8.9全表扫描
1.>scan 'users'
8.10删除xiaoming值的'info:age'字段
1.>delete 'users','xiaoming','info:age'
2.>get 'users','xiaoming'
8.11删除整行
1.>deleteall 'users','xiaoming'
8.12统计表的行数
1.>count 'users'
8.13清空表
1.>truncate 'users'
分享到:
相关推荐
本篇将详细阐述如何在Hadoop 2.7.1环境下搭建HBase 1.2.1集群,并进行性能优化,以提升系统效率。 首先,我们需要了解Hadoop和HBase的基本概念。Hadoop是基于分布式文件系统HDFS(Hadoop Distributed File System)...
这里提到的"基于虚拟机集hbase1.2.1配置文件"是针对一个由一个Master节点和三个Slave节点构成的HBase集群的配置。下面我们将详细探讨这些配置文件及其重要性。 首先,`hbase-site.xml`是HBase的主要配置文件,它...
在本篇文章中,我们将详细介绍如何在Linux环境下搭建Hadoop 2.6和HBase 1.2集群。该教程涵盖了从环境准备、Hadoop与HBase的安装配置到集群的测试等全过程。通过以下步骤,读者可以了解到不同运行模式下的具体操作...
在搭建大数据处理平台时,Hadoop是基础组件,而Hadoop 2.6.3、Spark 1.5.2、HBase 1.1.2、Hive 1.2.1和Zookeeper 3.4.6是常见的版本组合,这些组件的整合安装对于构建分布式计算环境至关重要。以下是对这些组件及其...
企业内部实际 hadoop zookeeper hbase搭建步骤明细
- **前提条件**:已经搭建好了 Hadoop 完全分布式环境。 - **配置步骤**与单机模式类似,但需要额外配置 Master 和 Slave 节点的信息,以及更复杂的 ZooKeeper 配置等。 - **具体操作**包括但不限于修改 `hbase-site...
2. **配置环境变量**:编辑 `/etc/profile` 文件,添加 HBase 的环境变量: ```bash export HBASE_HOME=/home/hadoop/hbase-0.98.10 export PATH=$PATH:$HBASE_HOME/bin ``` 3. **配置 HBase 属性文件**:编辑 ...
通过本次实验, 学习者掌握了Hadoop和HBase的基本安装与配置流程, 包括搭建实验环境、配置Hadoop与HBase、测试集群以及解决常见问题等关键技能。这些步骤对于理解和实践大数据处理技术至关重要, 也为后续深入学习打下...
在本压缩包"hive1.2.1安装包及安装配置文档"中,包含了Hive 1.2.1版本的安装程序以及相关的配置文档,这些都是搭建和管理Hive环境所必需的关键资料。 一、Hive 1.2.1简介 Hive 1.2.1是Hive的稳定版本之一,主要为大...
本教程将详细介绍在Linux环境下搭建Hadoop云计算平台的过程,包括Hbase、Pig、Hive、Zookeeper、Ganglia、Chukwa和Eclipse等相关组件的安装。 **一、安装环境准备** 1. **系统要求**:Hadoop在Linux集群上得到了...
1. 下载HBase的安装包,例如`hbase-1.2.1-bin.tar.gz`。 2. 规划安装目录,例如`/export/servers`。 3. 将安装包上传至服务器并解压。 4. 修改配置文件,如`hbase-env.sh`配置Java环境变量和HBase管理ZooKeeper的...
本文将详细介绍如何在Linux环境下搭建一个包含Hbase、Pig、Hive、Zookeeper、Ganglia、Chukwa以及Eclipse插件的Hadoop云计算平台。 首先,安装环境的选择至关重要。Hadoop官方推荐在Linux系统上构建集群,因为...
3. **Hadoop安装与配置**:搭建分布式文件系统HDFS,用于存储大规模数据集。 4. **HDFS数据上传**:将数据集上传至HDFS,准备数据处理。 5. **Kettle数据过滤**:使用Kettle对原始数据进行清洗和预处理。 6. **Hive...
首先,我们需要准备的软件和环境是:Windows 7操作系统、VMware 10虚拟化平台、CentOS Linux发行版、JDK 1.7、Hadoop 1.2.1、HBase 0.94.7、Hive 0.9以及Zookeeper 3.4.5。在Wmware中,我们将创建三个虚拟机,分别...
jdk-8u25-linux-x64.tar.gz hadoop-2.7.1.tar.gz zookeeper-3.4.6.tar.gz hbase-1.1.5-bin.tar.gz mysql-connector-java-5.1.27-bin.jar apache-hive-1.2.1-bin.tar.gz