用python写hiveclient

第一步：

将hive-0.7.0\lib\py 中所有py文件拷贝到你自己的Python工程中。

第二步：

把下面的代码拷贝一份新建一个py文件，修改IP,port ,输入要执行的SQL。

 

 

#encoding=utf-8
from hive_service import ThriftHive
from hive_service.ttypes import HiveServerException
from thrift import Thrift
from thrift.transport import TSocket
from thrift.transport import TTransport
from thrift.protocol import TBinaryProtocol

def hiveExe(sql):
    try:
        transport = TSocket.TSocket('119.188.7.xx', 10000) 
        transport = TTransport.TBufferedTransport(transport)
        protocol = TBinaryProtocol.TBinaryProtocol(transport)
        client = ThriftHive.Client(protocol)
        transport.open()

        client.execute(sql)

        print "The return value is : " 
        print client.fetchOne()
        print "............"
    except Thrift.TException, tx:
        print '%s' % (tx.message)
    finally:
        transport.close()

if __name__ == '__main__':
    hiveExe("select count(*) from pokes")

 

 第三步：

hive --service hiveserver （启动hive server）

 

 

测试成功，原文自：http://bbs.hadoopor.com/thread-3164-1-1.html

官方资料：http://wiki.apache.org/hadoop/Hive/HiveClient

评论

3 楼 dengwei729 2012-07-06  

heipark 写道

java.lang.NoSuchMethodError: org.apache.thrift.server.TThreadPoolServer

dengwei729 写道

兄弟，这法子我试过，取出的值始终为空，后来发现是没有做启动hive server这步。

就尝试启动hive server
[root@vm11120053 data0]# hive --service hiveserver
Starting Hive Thrift Server
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.thrift.server.TThreadPoolServer.<init>(Lorg/apache/thrift/server/TThreadPoolServer$Args;)V
        at org.apache.hadoop.hive.service.HiveServer.main(HiveServer.java:676)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:156)
[root@vm11120053 data0]#

求解，为什么呢?

java.lang.NoSuchMethodError: org.apache.thrift.server.TThreadPoolServer
如果是cloudera版本hive，要安装hive server，apache版本不需要。

我这个是apache版本的，很奇怪，哥们能解决不？

2 楼 heipark 2012-06-26  

java.lang.NoSuchMethodError: org.apache.thrift.server.TThreadPoolServer

dengwei729 写道

兄弟，这法子我试过，取出的值始终为空，后来发现是没有做启动hive server这步。

就尝试启动hive server
[root@vm11120053 data0]# hive --service hiveserver
Starting Hive Thrift Server
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.thrift.server.TThreadPoolServer.<init>(Lorg/apache/thrift/server/TThreadPoolServer$Args;)V
        at org.apache.hadoop.hive.service.HiveServer.main(HiveServer.java:676)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:156)
[root@vm11120053 data0]#

求解，为什么呢?

java.lang.NoSuchMethodError: org.apache.thrift.server.TThreadPoolServer
如果是cloudera版本hive，要安装hive server，apache版本不需要。

1 楼 dengwei729 2012-06-21  

兄弟，这法子我试过，取出的值始终为空，后来发现是没有做启动hive server这步。

就尝试启动hive server
[root@vm11120053 data0]# hive --service hiveserver
Starting Hive Thrift Server
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.thrift.server.TThreadPoolServer.<init>(Lorg/apache/thrift/server/TThreadPoolServer$Args;)V
        at org.apache.hadoop.hive.service.HiveServer.main(HiveServer.java:676)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:156)
[root@vm11120053 data0]#

求解，为什么呢?