`

Hbase Java 实例

阅读更多
HBase提供了java api来对HBase进行一系列的管理涉及到对表的管理、数据的操作等。常用的API操作有:
1. 对表的创建、删除、显示以及修改等,可以用HBaseAdmin,一旦创建了表,那么可以通过HTable的实例来访问表,每次可以往表里增加数据。
2. 插入数据
创建一个Put对象,在这个Put对象里可以指定要给哪个列增加数据,以及当前的时间戳等值,然后通过调用HTable.put(Put)来提交操作,子猴在这里提请注意的是:在创建Put对象的时候,你必须指定一个行(Row)值,在构造Put对象的时候作为参数传入。
3. 获取数据
要获取数据,使用Get对象,Get对象同Put对象一样有好几个构造函数,通常在构造的时候传入行值,表示取第几行的数据,通过HTable.get(Get)来调用。
4. 浏览每一行
通过Scan可以对表中的行进行浏览,得到每一行的信息,比如列名,时间戳等,Scan相当于一个游标,通过next()来浏览下一个,通过调用HTable.getScanner(Scan)来返回一个ResultScanner对象。HTable.get(Get)和HTable.getScanner(Scan)都是返回一个Result。Result是一个
KeyValue的链表。
5. 删除
使用Delete来删除记录,通过调用HTable.delete(Delete)来执行删除操作。(注:删除这里有些特别,也就是删除并不是马上将数据从表中删除。)
6. 锁
新增、获取、删除在操作过程中会对所操作的行加一个锁,而浏览却不会。
7. 簇的访问
客户端代码通过ZooKeeper来访问找到簇,也就是说ZooKeeper quorum将被使用,那么相关的类(包)应该在客户端的类(classes)目录下,即客户端一定要找到文件hbase-site.xml。
 
以下是一个完整的代码示例,基于hbase-0.90.3编写:
Java代码  收藏代码
  1. import java.io.IOException;  
  2. import java.util.ArrayList;  
  3. import java.util.List;  
  4.    
  5. import org.apache.hadoop.conf.Configuration;  
  6. import org.apache.hadoop.hbase.HBaseConfiguration;  
  7. import org.apache.hadoop.hbase.HColumnDescriptor;  
  8. import org.apache.hadoop.hbase.HTableDescriptor;  
  9. import org.apache.hadoop.hbase.KeyValue;  
  10. import org.apache.hadoop.hbase.MasterNotRunningException;  
  11. import org.apache.hadoop.hbase.ZooKeeperConnectionException;  
  12. import org.apache.hadoop.hbase.client.Delete;  
  13. import org.apache.hadoop.hbase.client.Get;  
  14. import org.apache.hadoop.hbase.client.HBaseAdmin;  
  15. import org.apache.hadoop.hbase.client.HTable;  
  16. import org.apache.hadoop.hbase.client.Result;  
  17. import org.apache.hadoop.hbase.client.ResultScanner;  
  18. import org.apache.hadoop.hbase.client.Scan;  
  19. import org.apache.hadoop.hbase.client.Put;  
  20. import org.apache.hadoop.hbase.util.Bytes;  
  21.    
  22. public class HBaseTest {  
  23.       
  24.     private static Configuration conf = null;  
  25.        
  26.     /** 
  27.      * 初始化配置 
  28.      */  
  29.     static {  
  30.         Configuration HBASE_CONFIG = new Configuration();  
  31.         //与hbase/conf/hbase-site.xml中hbase.zookeeper.quorum配置的值相同   
  32.         HBASE_CONFIG.set("hbase.zookeeper.quorum""10.1.1.1");  
  33.         //与hbase/conf/hbase-site.xml中hbase.zookeeper.property.clientPort配置的值相同  
  34.         HBASE_CONFIG.set("hbase.zookeeper.property.clientPort""2181");  
  35.         conf = HBaseConfiguration.create(HBASE_CONFIG);  
  36.     }  
  37.       
  38.     /** 
  39.      * 创建一张表 
  40.      */  
  41.     public static void creatTable(String tableName, String[] familys) throws Exception {  
  42.         HBaseAdmin admin = new HBaseAdmin(conf);  
  43.         if (admin.tableExists(tableName)) {  
  44.             System.out.println("table already exists!");  
  45.         } else {  
  46.             HTableDescriptor tableDesc = new HTableDescriptor(tableName);  
  47.             for(int i=0; i<familys.length; i++){  
  48.                 tableDesc.addFamily(new HColumnDescriptor(familys[i]));  
  49.             }  
  50.             admin.createTable(tableDesc);  
  51.             System.out.println("create table " + tableName + " ok.");  
  52.         }   
  53.     }  
  54.       
  55.     /** 
  56.      * 删除表 
  57.      */  
  58.     public static void deleteTable(String tableName) throws Exception {  
  59.        try {  
  60.            HBaseAdmin admin = new HBaseAdmin(conf);  
  61.            admin.disableTable(tableName);  
  62.            admin.deleteTable(tableName);  
  63.            System.out.println("delete table " + tableName + " ok.");  
  64.        } catch (MasterNotRunningException e) {  
  65.            e.printStackTrace();  
  66.        } catch (ZooKeeperConnectionException e) {  
  67.            e.printStackTrace();  
  68.        }  
  69.     }  
  70.        
  71.     /** 
  72.      * 插入一行记录 
  73.      */  
  74.     public static void addRecord (String tableName, String rowKey, String family, String qualifier, String value)  
  75.             throws Exception{  
  76.         try {  
  77.             HTable table = new HTable(conf, tableName);  
  78.             Put put = new Put(Bytes.toBytes(rowKey));  
  79.             put.add(Bytes.toBytes(family),Bytes.toBytes(qualifier),Bytes.toBytes(value));  
  80.             table.put(put);  
  81.             System.out.println("insert recored " + rowKey + " to table " + tableName +" ok.");  
  82.         } catch (IOException e) {  
  83.             e.printStackTrace();  
  84.         }  
  85.     }  
  86.    
  87.     /** 
  88.      * 删除一行记录 
  89.      */  
  90.     public static void delRecord (String tableName, String rowKey) throws IOException{  
  91.         HTable table = new HTable(conf, tableName);  
  92.         List list = new ArrayList();  
  93.         Delete del = new Delete(rowKey.getBytes());  
  94.         list.add(del);  
  95.         table.delete(list);  
  96.         System.out.println("del recored " + rowKey + " ok.");  
  97.     }  
  98.        
  99.     /** 
  100.      * 查找一行记录 
  101.      */  
  102.     public static void getOneRecord (String tableName, String rowKey) throws IOException{  
  103.         HTable table = new HTable(conf, tableName);  
  104.         Get get = new Get(rowKey.getBytes());  
  105.         Result rs = table.get(get);  
  106.         for(KeyValue kv : rs.raw()){  
  107.             System.out.print(new String(kv.getRow()) + " " );  
  108.             System.out.print(new String(kv.getFamily()) + ":" );  
  109.             System.out.print(new String(kv.getQualifier()) + " " );  
  110.             System.out.print(kv.getTimestamp() + " " );  
  111.             System.out.println(new String(kv.getValue()));  
  112.         }  
  113.     }  
  114.        
  115.     /** 
  116.      * 显示所有数据 
  117.      */  
  118.     public static void getAllRecord (String tableName) {  
  119.         try{  
  120.              HTable table = new HTable(conf, tableName);  
  121.              Scan s = new Scan();  
  122.              ResultScanner ss = table.getScanner(s);  
  123.              for(Result r:ss){  
  124.                  for(KeyValue kv : r.raw()){  
  125.                     System.out.print(new String(kv.getRow()) + " ");  
  126.                     System.out.print(new String(kv.getFamily()) + ":");  
  127.                     System.out.print(new String(kv.getQualifier()) + " ");  
  128.                     System.out.print(kv.getTimestamp() + " ");  
  129.                     System.out.println(new String(kv.getValue()));  
  130.                  }  
  131.              }  
  132.         } catch (IOException e){  
  133.             e.printStackTrace();  
  134.         }  
  135.     }  
  136.       
  137.     public static void  main (String [] agrs) {  
  138.         try {  
  139.             String tablename = "scores";  
  140.             String[] familys = {"grade""course"};  
  141.             HBaseTest.creatTable(tablename, familys);  
  142.                
  143.             //add record zkb  
  144.             HBaseTest.addRecord(tablename,"zkb","grade","","5");  
  145.             HBaseTest.addRecord(tablename,"zkb","course","","90");  
  146.             HBaseTest.addRecord(tablename,"zkb","course","math","97");  
  147.             HBaseTest.addRecord(tablename,"zkb","course","art","87");  
  148.             //add record  baoniu  
  149.             HBaseTest.addRecord(tablename,"baoniu","grade","","4");  
  150.             HBaseTest.addRecord(tablename,"baoniu","course","math","89");  
  151.                
  152.             System.out.println("===========get one record========");  
  153.             HBaseTest.getOneRecord(tablename, "zkb");  
  154.                
  155.             System.out.println("===========show all record========");  
  156.             HBaseTest.getAllRecord(tablename);  
  157.                
  158.             System.out.println("===========del one record========");  
  159.             HBaseTest.delRecord(tablename, "baoniu");  
  160.             HBaseTest.getAllRecord(tablename);  
  161.                
  162.             System.out.println("===========show all record========");  
  163.             HBaseTest.getAllRecord(tablename);  
  164.         } catch (Exception e) {  
  165.             e.printStackTrace();  
  166.         }  
  167.     }  
  168. }  
 
程序编译为一个jar包hbtest.jar 
 
source ~/.bash_profile
export HADOOP_CLASSPATH=/home/admin/hadoop/hadoop-core-0.20.2-CDH3B4.jar:/home/admin/hbase/hbase-0.90.3.jar:/home/admin/zookeeper/zookeeper-3.3.2.jar
 
hadoop jar hbtest.jar
分享到:
评论

相关推荐

    hbase java api 访问 查询、分页

    在HBase这个分布式列式数据库中,Java API是开发者常用的一种接口来操作HBase,包括创建表、插入数据、查询数据以及实现分页等操作。本文将深入探讨如何使用HBase Java API进行数据访问和分页查询。 首先,我们要...

    hbase的java client实例

    本主题将深入探讨如何使用Java客户端API与HBase进行交互,包括集成Spring、MapReduce实例以及协处理器的使用。 首先,让我们从HBase的基础开始。HBase是构建在Hadoop文件系统(HDFS)之上的开源NoSQL数据库,它为非...

    java链接及操作hbase实例代码

    在Java编程环境中,链接并操作HBase是一种常见的任务,特别是在大数据处理和分布式存储的应用场景下。...务必注意,根据你的HBase集群配置,可能需要调整代码中的连接参数,以确保正确连接到你的HBase实例。

    Hadoop+HBase+Java API

    对于HBase,可以创建HTable实例来连接到表,使用Put对象添加数据,Get对象读取数据,Scan对象进行范围查询。 在实际项目中,可能还需要考虑数据模型设计、性能优化、故障恢复等方面。例如,为了提高HBase的查询效率...

    HBase MapReduce完整实例.rar

    2. **代码示例**:提供实际的Java代码,演示如何编写Map和Reduce函数来处理HBase中的数据,以及如何使用HBaseInputFormat和HBaseOutputFormat与HBase交互。 3. **数据准备**:可能包含一些模拟数据或实际数据,用于...

    使用Java API连接虚拟机HBase并进行数据库操作,Java源代码

    在本文中,我们将深入探讨如何使用Java API连接到运行在虚拟机上的HBase数据库,并进行相关的数据操作。HBase是一个分布式的、版本化的、基于列族的NoSQL数据库,它构建于Hadoop之上,适用于处理大规模的数据存储和...

    HbaseJavaWeb实例

    在本项目中,“HbaseJavaWeb实例”是一个基于Java Web技术实现的HBase数据库操作应用。这个项目旨在提供一个交互式的平台,用户可以通过Web界面执行HBase中的基本操作,包括添加数据、删除数据、更新数据以及查询...

    java-hbase开发包

    Java-HBase 开发包是专为Java开发者设计的,用于与HBase数据库进行交互的工具集。HBase是一个分布式、可扩展的列式存储系统,是Apache Hadoop生态系统的一部分,适用于处理大规模数据。这个开发包使得Java程序员可以...

    HBase Java API编程实例

    本节通过一个具体的编程实例来学习如何使用 HBase Java API 解决实际问题。在本实例中,首先创建一个学生成绩表 scores,用来存储学生各门课程的考试成绩,然后向 scores 添加数据。 表 scores 的概念视图如图 1 所...

    Flume+Kafka+HBase实例

    在这个“Flume+Kafka+HBase实例”中,我们将深入探讨如何在电信客服项目中整合这三个工具,以实现高效的数据处理和存储。 Flume是Apache的一款开源工具,专门用于高效、可靠地收集、聚合和移动大量日志数据。在电信...

    hbase 的java代码 集合 hbase 0.96

    在HBase这个分布式列式数据库中,Java是主要的编程语言,用于开发和操作HBase。HBase 0.96版本是一个较早但仍然重要的发行版,它引入了许多功能和改进,使得处理大规模数据变得更加高效。下面我们将深入探讨HBase ...

    java开发hbase-1.2.1所需的jar包

    5. **HBase Configuration**: 在Java程序中,需要正确配置HBase的连接信息,例如`HBaseConfiguration.create()`方法用于创建配置实例,然后设置`hbase.zookeeper.quorum`(Zookeeper服务器列表)和`hbase.zookeeper....

    java链接并对hbase进行增删改查操作的实例代码(含批量插入,范围查询等,并包含所需jar包)

    这个实例代码将帮助开发者理解和实现如何在Java环境中与HBase交互。 首先,要进行HBase操作,你需要在项目中添加相应的依赖。在`.classpath`和`.project`文件中,可能包含了项目的构建和依赖信息,比如Maven或...

    java 连接远程hbase 数据库

    4. **建立连接**: 通过`ConnectionFactory`创建一个`Connection`实例,这将用于执行HBase操作: ```java Connection connection = ConnectionFactory.createConnection(config); ``` 5. **操作数据**: 使用`...

    hbase备份恢复实例

    ### HBase备份与恢复技术详解 #### 一、引言 在大数据处理和分布式存储领域,HBase作为一款开源的、非关系型的分布式数据库,因其高性能和高可靠性而受到广泛青睐。但在实际应用过程中,如何高效地进行数据备份与...

    Hbase操作Hadoop分布式数据库java工程实例(含测试用例)

    在本Java工程实例中,我们将深入探讨如何使用HBase这一分布式数据库系统,它与Hadoop生态系统紧密集成。HBase是一个高度可扩展的NoSQL数据库,它以列族为存储结构,支持实时读写操作,特别适合大数据场景。下面将...

    在eclipse中开发HBase程序的方法

    4. **创建`HBaseAdmin`实例**:使用配置对象创建一个`HBaseAdmin`实例,这是与HBase集群进行管理操作(如创建、删除表)的主要接口。 5. **表操作**:示例代码展示了如何检查表是否存在,如果存在则先禁用再删除该...

    java访问Hbase数据库Demo

    Java访问Hbase数据库是大数据处理中的常见操作,尤其在分布式存储和实时数据分析场景下。HBase,一个基于Google Bigtable模型的开源非关系型数据库,是Apache Hadoop生态系统的一部分,提供高并发、低延迟的数据存储...

    java连接hbase的jar包

    Java连接HBase主要依赖于Apache HBase提供的Java客户端库,这个库包含了所有必要的类和接口,使得Java应用程序能够与HBase进行交互。HBase是一个分布式、版本化的NoSQL数据库,基于Google的Bigtable设计,运行在...

Global site tag (gtag.js) - Google Analytics