`
moxpeter
  • 浏览: 35783 次
  • 来自: 北京
文章分类
社区版块
存档分类
最新评论

python访问Hbase

 
阅读更多

通过thrift访问

thrift配置见http://blog.csdn.net/moxpeter/article/details/7403074

确认hbase已经启动thrift服务,如果未启动,报错打印 thrift.transport.TTransport.TTransportException: TSocket read 0 bytes

cd 到$HBASE/bin执行

hbase thrift  start

启动后会打印出一些环境变量以及hbase和zookeeper的配置信息

其中这句打印出了thrift的服务端口9090(猜的)

INFO ThriftServer: starting HBase ThreadPool Thrift server on /0.0.0.0:9090

python2.7测试代码


from thrift import Thrift
from thrift.transport import TSocket
from thrift.transport import TTransport
from thrift.protocol import TBinaryProtocol

from hbase import Hbase
from hbase.ttypes import *
transport = TTransport.TBufferedTransport(TSocket.TSocket('localhost', 9090))
protocol = TBinaryProtocol.TBinaryProtocol(transport)
client = Hbase.Client(protocol)
transport.open()
tables=client.getTableNames()
print(tables)
['bonc_test']
print(client.getRow('bonc_test','row111'))
[TRowResult(columns={'data:': TCell(timestamp=1333007757459L, value='line3')}, row='row111')]

分享到:
评论

相关推荐

    Python访问Hbase的库文件

    标题:"Python访问Hbase的库文件:Hbase.py与ttypes.py的替代解决方案" 在大数据处理的世界里,Apache HBase是一种分布式的、面向列的NoSQL数据库系统,特别适合于存储大量半结构化数据。HBase的分布式特性使其在...

    Python连接Hbase

    HBase是Apache Hadoop生态系统中的一个分布式、面向列的数据库,它提供实时访问大数据的能力。它支持海量数据存储,同时提供了快速随机读取性能,非常适合处理半结构化的数据。 Python连接HBase的过程主要分为以下...

    python操作hbase

    HBase是一个分布式、高性能、基于列族的NoSQL数据库,它构建在Hadoop文件系统之上,提供了对大规模数据的实时访问。Python作为一门易学易用的编程语言,通过各种库与HBase进行交互,其中`hbase-thrift`库是常用的一...

    python通过thrift访问hbase.docx

    "Python 通过 Thrift 访问 HBase" 在大数据时代,HBase 作为一个分布式的、面向列的 NoSQL 数据库,广泛应用于大规模数据存储和处理中。Python 作为一门流行的编程语言,也提供了多种方式来访问 HBase。其中,...

    python连接hbase的lib(版本0.98.8)

    HBase是一个分布式的、面向列的NoSQL数据库,它构建在Hadoop之上,提供实时访问大规模数据集的能力。然而,由于HBase主要是为Java设计的,非Java语言如Python需要通过特定的接口来实现连接,这就是Thrift接口的作用...

    python操作 hbase 数据的方法

    ### Python 操作 HBase 数据的方法 #### 一、前言 在大数据处理场景中,HBase 作为一种分布式列式存储系统,被广泛应用于海量数据的高效存储与查询。Python 作为一门灵活且功能强大的编程语言,能够很好地与 HBase...

    python thrift2 connect hbase

    Python Thrift2与HBase的交互是大数据领域中常见的操作,尤其在分布式系统中,为了高效地访问HBase存储的数据,开发者通常会采用Thrift2作为通信协议。Thrift是一种跨语言的服务框架,它允许不同编程语言之间的高效...

    hbase thrift python

    总之,HBase、Thrift和Python的结合提供了在Python环境中便捷访问HBase的能力,尤其适合需要进行复杂数据分析或实时查询的项目。通过理解这些技术的原理和交互方式,开发者可以有效地利用它们构建分布式数据处理解决...

    thrift2 查询hbase

    在使用Python访问HBase之前,我们需要安装必要的Python库。主要的依赖库包括`happybase`,它是Python的HBase Thrift客户端。你可以使用pip进行安装: ``` pip install happybase ``` 2. **连接HBase** 连接...

    hbase启动说明和python脚本

    在本文中,我们将深入探讨HBase的启动过程以及如何利用Python进行操作,同时结合Hadoop的相关知识。HBase是Google Bigtable的一个开源实现,是一个分布式、版本化、面向列的NoSQL数据库,常用于大数据存储。它构建在...

    通过thrift使用c++访问hbase

    【标题】: "通过Thrift使用C++访问HBase" 【描述】: "本文档详述了如何在Linux和Windows环境下配置Thrift环境并使用HBase的C++客户端。" 【标签】: "hadoop hbase thrift boost" 在IT领域,特别是大数据处理中,...

    Python-提供Hbase自动化部署方案WhaleAI专注人工智能大数据

    7. **安全与权限**:如果需要,可以配置HBase的安全机制,如Kerberos,以确保数据访问的安全性。 通过WhaleAI的自动化部署方案,开发者可以更专注于人工智能和大数据应用的开发,而不是花费大量时间在基础架构的...

    藏经阁-HBase多语言访问.pdf

    HBase提供了Python API,用于访问HBase数据库。Python API包括Hbase、Table和Admin三个主要类。Hbase用于配置HBase连接,Table用于读写HBase表,而Admin用于管理HBase集群。 四、C++ Demo HBase提供了C++ Demo,...

    Hbase Thrift Manul

    HBase通过Thrift接口提供服务,虽然让不同语言的开发者可以访问HBase,但是与基于Java的客户端API相比,它的API有所不同。由于Thrift旨在支持多种语言,它没有包含许多语言中常见的功能,如对象继承等。因此,通过...

    thrift1 查询hbase

    同时,确保HBase和Thrift服务器的安全配置,防止未经授权的访问。 综上所述,"thrift1 查询hbase"涉及到使用Python通过Thrift1接口与HBase数据库进行通信,进行数据查询操作。这个过程涵盖了一系列的技术细节,包括...

    python利用thrift服务读取hbase数据的方法

    ### Python 利用 Thrift 服务读取 HBase 数据的方法...总之,Python 结合 Thrift 服务为 HBase 提供了一个强大的访问工具,能够极大地提高开发效率和数据处理能力。希望本文能为你在实际项目中的应用提供有用的指导。

    HBase技术介绍.docx

    - **REST Gateway**: 支持HTTP RESTful API,允许任何支持HTTP协议的客户端访问HBase。 - **Pig和Hive**: 提供高级语言支持,简化数据统计处理流程。 - **Sqoop**: 用于轻松地将关系型数据库管理系统(RDBMS)中的数据...

    HBase性能优化方法总结

    2. **内存配置**:合理分配HBase的堆内存,确保足够的空间用于BlockCache和MemStore,降低磁盘访问频率。 3. **网络优化**:使用高速网络如InfiniBand,提高节点间通信速度。 二、配置优化 1. **Region大小调整**:...

Global site tag (gtag.js) - Google Analytics