`

hbase需要使用mapreduce来查询吗

 
阅读更多

hbase本身已经提供了实时查询功能了,如bloom filters等.如果加入mr的话,那么好处是什么呢?

 

如果使用mr对hbase中的数据进行非实时性的统计分析,这是可行的,但这样已经有了替代方案:hive.

这正如pig基于hadoop一样,将mr的业务抽取出来了.

 

references:

http://hadoop.nchc.org.tw/phpbb/viewtopic.php?f=7&t=2320

 

用MR(MapReduce)查询hbase数据-用到TableMapper和Scan

hbase doc:

HBase provides:

  • Linear and modular scalability.
  • Strictly consistent reads and writes.
  • Automatic and configurable sharding of tables
  • Automatic failover support between RegionServers.
  • Convenient base classes for backing Hadoop MapReduce jobs with HBase tables.
  • Easy to use Java API for client access.
  • Block cache and Bloom Filters for real-time queries.
  • Query predicate push down via server side Filters
  • Thrift gateway and a REST-ful Web service that supports XML, Protobuf, and binary data encoding options
  • Extensible jruby-based (JIRB) shell
  • Support for exporting metrics via the Hadoop metrics subsystem to files or Ganglia; or via JMX

 

分享到:
评论

相关推荐

    HBase MapReduce完整实例.rar

    1. **案例介绍**:详细讲解如何使用HBase和MapReduce进行数据处理,包括设置环境、配置HBase与MapReduce的集成、编写MapReduce程序等步骤。 2. **代码示例**:提供实际的Java代码,演示如何编写Map和Reduce函数来...

    HBase MapReduce完整实例

    2. 数据查询:通过MapReduce实现对HBase表的查询,可以在Map阶段进行过滤,Reduce阶段进行聚合操作。 3. 数据更新:在Map阶段定位到需要更新的行,然后在Reduce阶段完成更新操作。 4. 数据删除:Map阶段标识出需要...

    mapreduce方式入库hbase hive hdfs

    mapreduce方式入库hbase hive hdfs,速度很快,里面详细讲述了代码的编写过程,值得下载

    HBase与MapReduce处理操作(基于JavaAPI)

    该案例中主要使用MapReduce作为处理组件进行数据处理,实现的案例有如通过javaapi实现hbase数据写入hdfs、hbase表数据复制到另一个表中等操作 对应(《HBase分布式存储系统应用》胡鑫喆 张志刚著)教材中案例

    基于MapReduce和HBase的海量网络数据处理.pdf

    系统采用MapReduce来对二进制数据进行解析,使用HBase来存储解析后的文本数据,并使用Hive为HBase提供上层语言支持。同时,系统还提供了一个基于PHP的数据查询界面,方便用户对数据的查询和分析。 系统的设计基于...

    Hbase:HBase MapReduce投影

    总结来说,HBase MapReduce投影是利用MapReduce对HBase数据进行定制化查询和处理的一种方式,通过Java编程实现,能够有效地处理大规模数据,并通过数据投影减少不必要的计算和网络传输,提高整体处理效率。...

    hbase用于查询客户端工具

    在HBase环境中,有多种客户端工具可供开发人员和管理员使用来进行查询和其他操作。以下是一些主要的HBase查询客户端工具及其详细说明: 1. **HBase Shell**:这是HBase自带的一个命令行接口,用户可以通过Java REPL...

    结合MapReduce和HBase的遥感图像并行分布式查询.pdf

    总结来说,结合MapReduce和HBase的遥感图像并行分布式查询技术,通过分布式计算和存储优化,有效地解决了海量遥感图像数据的高效处理和检索问题,为地球观测数据的管理和应用提供了新的解决方案。这一方法对于分布式...

    基于hbase, mapreduce结合springMVC查询操作扫描操作,数据分析.zip

    在这个项目中,Spring MVC可能是用来创建一个用户友好的界面,允许用户通过Web请求来查询和分析存储在HBase中的数据。它简化了后端服务与前端展示的交互,提高了开发效率。 4. 人工智能-hadoop:这个标签暗示了项目...

    HDFS 通过mapreduce 进行 HBase 导入导出

    - **触发导出**:可以使用 HBase 的 Export 或 ImportTs 工具,或者自定义 MapReduce 作业来完成导出。 - **Map阶段**:Map 函数读取 HBase 表的每个Region,将数据转化为键值对,键通常包含行键和时间戳,值为...

    MapReduce on Hbase

    在使用MapReduce操作HBase时,可以通过Hadoop MapReduce框架提供的API与HBase数据库进行交互。这使得开发者可以在Hadoop集群上运行MapReduce作业,以批量处理存储在HBase中的大量数据。由于HBase和Hadoop都是基于...

    hbase java api 访问 查询、分页

    另外,对于大数据量的查询,可能需要考虑使用MapReduce或Spark等并行计算框架。 总之,HBase的Java API提供了丰富的功能,使得开发人员能够灵活地对HBase进行操作。理解并熟练掌握这些API,对于开发高效、稳定的...

    hadoop1.1.2操作例子 包括hbase hive mapreduce相应的jar包

    例如,可以使用HBase的API创建和管理数据库,使用Hive的HQL进行数据分析,以及编写自定义的MapReduce作业来执行特定的数据处理任务。 总结来说,这个压缩包提供了Hadoop生态系统的几个关键组件的示例和库,对于学习...

    hbase导入话单数据mapreduce函数实现执行过程实例(博客附件)

    在大数据领域,Hive通常被用作数据仓库工具,它提供了SQL-like的语言(HQL)来查询和管理存储在Hadoop文件系统(HDFS)上的数据,而HBase则适用于实时查询和操作这些数据。本实例可能涵盖了如何从Hive中提取数据,...

    Hadoop/HDFS/MapReduce/HBase

    对Hadoop中的HDFS、MapReduce、Hbase系列知识的介绍。如果想初略了解Hadoop 可下载观看

    HBase基本操作.pdf

    HBase是一种开源的非关系型分布式...需要注意的是,实验手册中提供的命令格式和使用说明是非常基础的入门指引,对于深入应用HBase来说,掌握高级的Filter使用、时间戳和版本控制、以及数据批量导入方法将更为关键。

    基于Hbase的大数据查询优化

    类比于传统型数据库里的一些查询方式,本文对Hbase的存储原理进行了研究,借助分布式计算框架Mapreduce在Hbase上构建了二级索引,就可以对表进行有针对性的定位和高效率的查找,同时也减轻zookeeper服务对资源调度的压力...

    HDFS+MapReduce+Hive+HBase十分钟快速入门.pdf

    HDFS+MapReduce+Hive+HBase十分钟快速入门.pdf

    HDFS+MapReduce+Hive+HBase十分钟快速入门.zip_hbase_hdfs_hive_mapReduce

    Hive是基于Hadoop的数据仓库工具,它允许用户使用SQL(HQL,Hive Query Language)样的查询语言来处理HDFS上的大数据集。Hive提供了数据仓储、元数据管理、查询和分析等功能,使得非Java背景的开发人员也能轻松处理...

    大数据开发之Hbase企业应用及与MapReduce集成实战教程(视频+讲义+笔记+配置+代码+练习)

    │ Day1611_Hbase与Sqoop集成使用.mp4 │ Day1612_Hbase完全分布式集群的部署配置.mp4 ├─03_笔记 │ Day16[Hbase 企业应用及与MapReduce集成].txt ├─04_代码 ├─06_配置 └─08_作业 Day16[Hbase 企业应用及...

Global site tag (gtag.js) - Google Analytics