`
san_yun
  • 浏览: 2663827 次
  • 来自: 杭州
文章分类
社区版块
存档分类
最新评论

hbase实现count功能

 
阅读更多

代码如下:

		Scan scan = new Scan();
		scan.addFamily(Bytes.toBytes("cf"));
		scan.setCaching(500);
		AggregationClient ac = new AggregationClient(config);
		long rowCount = ac.rowCount(Bytes.toBytes("eagleeye-log"), new LongColumnInterpreter(), scan);
		System.out.println(rowCount);

 config初始化

	config = HBaseConfiguration.create();
		Properties properties = ConfigUtils.readConfig(configFileName);

		for (String key : properties.stringPropertyNames()) {
			if (key.startsWith("config.hbase.")) {
				String hbaseKey = key.substring("config.hbase.".length());
				String value = properties.getProperty(key);
				config.set(hbaseKey, value);
			}
		}

 

参考:http://www.binospace.com/index.php/make-your-hbase-better-2/

分享到:
评论

相关推荐

    大数据技术原理及应用课实验3 熟悉常用的HBase操作 林子雨实验

    实验步骤包括编程实现指定功能并使用HBase Shell命令验证: 1. **列出HBase所有表的信息**:使用`hbase shell`命令,执行`list`可以查看所有表的名称。 2. **打印指定表的所有记录数据**:通过`get 'tableName'`命令...

    hbase基于快照的数据迁移

    通过HBase的快照功能,我们可以方便地实现数据的迁移和备份。这种基于快照的方式不仅可以减少对生产环境的影响,还可以提高数据迁移的效率和可靠性。希望本文能帮助读者更好地理解和应用HBase快照迁移技术。

    hbase_常用配置参数_以及学习笔记讲解_以及各种原理图.zip

    在"04 - hbase常用配置参数.xml"文件中,列举了HBase的重要配置参数,如`hbase.rootdir`(HBase元数据的存储位置)、`hbase.cluster.distributed`(是否运行在分布式模式下)、`hbase.regionserver.handler.count`...

    hadoop、hbase、hive等相关面试问题

    RDD提供了丰富的转换操作(如map、filter)和动作操作(如count、collect)。 - **DataFrame**:是在RDD基础上抽象出的一种结构化的数据集,它类似于关系型数据库中的表。DataFrame提供了更高级别的API,并且支持SQL...

    HBase在淘宝的应用和优化

    尽管当时0.92版本的HBase还未成熟,淘宝团队通过自行开发Coprocessor来实现这些复杂功能。 ##### 2. 技术选型与版本选择 - **0.90.x版本**:2011年1月发布的0.90.0版本成为HBase应用的一个重要里程碑,该版本加入...

    Hbase coprecessor

    HBase Coprocessor 是 HBase 的一个核心特性,允许用户在 RegionServer 上执行自定义代码,从而实现数据处理逻辑靠近数据存储的位置。这一特性极大地提高了数据处理效率,并为用户提供了高度定制化的功能。本文将对 ...

    第1章 HBase入门_v1.3.docx

    - **搭建**:通过配置Zookeeper集群和HBase配置文件来实现HBase的高可用。 #### 十、HBase 架构 - **系统架构**:HBase的核心组件包括HMaster、HRegionServer、HLog、StoreFile、MemStore等。 - **逻辑结构模型**...

    rowkey设计案例.zip

    本文将围绕"Spark存储数据到HBase实现RowKey完全散列,多进程多线程间Random完全随机,解决热点问题"这一主题进行深入探讨。 首先,RowKey是HBase中的主键,它决定了数据的物理存储位置。一个良好的RowKey设计能够...

    10大HBase常见运维工具整理小结

    - **影响**:3星,适合定期统计,但HBase shell中的`count`命令效率较低。 4. **Clean工具** - **功能**:彻底清除HBase在ZooKeeper和HDFS上的所有数据,用于重置集群状态。 - **风险**:5星,执行后将丢失所有...

    【Spark大数据习题】习题-Spark SQL&&&Kafka&& HBase&&HivePDF资源路径-Spark2

    【Spark大数据习题】...总的来说,这个习题集覆盖了Scala语言基础、Spark核心功能、SQL查询、实时数据处理(Kafka)、大数据存储(HBase)和数据仓库(Hive)等多个关键知识点,是学习和掌握大数据技术栈的良好资源。

    藏经阁-Blink计算引擎.pdf

    Blink可以用于Filter Item Filter Category Seller Join Search Engine HBase Result UIC DataSource Item Seller HBase Export Sync等应用场景,实现实时数据处理和批处理。 结果表=物化视图: Blink可以用于创建...

    英特尔Hadoop发行版 2.2 开发者指南

    - **全文索引**:详细介绍如何在HBase中实现全文检索功能。 #### 五、ZooKeeper示例 - **前提**:了解ZooKeeper的基础概念和应用场景。 - **概要**:ZooKeeper是一个分布式协调服务。 - **提供的样例**: - **...

    hive实现原理

    SELECT pageid, age, count(1) FROM pv_users GROUP BY pageid, age; ``` 此查询的目的是统计 `pv_users` 表中每个 `pageid` 和 `age` 组合的数量。其转换为 MapReduce 过程如下: 1. **Map 阶段**:Map 函数读取 ...

    史上最全的大数据面试题,大数据开发者必看.docx

    Spark SQL版本则是通过SQLContext创建DataFrame,注册临时表,然后使用UDF(用户自定义函数)和SQL查询来实现Word Count。 2. **Hive使用**: - **内部表与外部表**:内部表的数据存储在Hive的元数据中,当删除...

    星环大数据平台_Hyperbase基本用法.pdf

    TDHClient是星环大数据平台的一部分,用于实现Hadoop集群的部署、监控、维护等任务。而hbase shell是HBase自带的客户端工具,允许用户直接与HBase集群交互,执行各种数据操作。 2. 创建表并插入数据:通过hbase ...

    大数据基础专业课程设计方案报告.doc

    - **数据导入HBase**: 最终的结果保存到HBase,实现高效检索。 - **数据查询**: 通过HBase的shell命令查询导入的数据,验证处理结果。 6. **数据分析操作**: - **统计总条数**: 使用`COUNT(*)`函数计算表中的...

Global site tag (gtag.js) - Google Analytics