博客首页 → hive

最新文章列表

批量加载2W多个就越来越慢，只能重启thirt

<!-- [if gte mso 9]><xml><w:WordDocument><w:BrowserLevel>MicrosoftInternetExplorer4</w:BrowserLevel><w:DisplayHorizontalDrawingGridEvery>0</w:DisplayHorizontalDra ...
hadoophivehdfsload data 
hao3721 评论(0) 有848人浏览 2012-03-06 11:27

hive核心模块浅析

简单翻译下hive开发者指南核心组件部分，加入了自己的一些理解，方便调试时理解 转载注明出处： http://eclipse-cc.iteye.com/blog/1412001   Hive核心模块 Ø  序列号、反序列化 Ø  元数据存储 Ø  查询处理器   序列化、反序列化 略 元数据存储 元数据存储有以下模块组成： ØMetaSto ...
hivehadoo 
eclipse_cc 评论(0) 有1966人浏览 2012-02-19 13:10

Hive详细配置手册

HIVE详细配置手册 1）下载hive HIVE只需在Master节点中安装和配置即可。 所以版本是hive-0.7.1，已安装的hadoop版本为hadoop-0.20.204.0，解压到master节点上的/usr/local/hadoop/contrib目录 解压       [root@master:hadoop]$ tar zxvf hive-0.7.1.tar.gz [r ...
hivehadoopmysql 
mars914 评论(2) 有25825人浏览 2012-02-18 17:42

在IDE上调试Hive

编译、调试Hive 最近在公司研究Hive源码，积累了一些经验，写了一些东西，陆续更新，希望对感兴趣的朋友有所帮助，本人新手欢迎拍砖指教，打字不易，转载请注明出处http://eclipse-cc.iteye.com/blog/1410012。 通过以下步骤您可以使用IDE修改、编译、调试Hive： 这里使用NetBeans编译并调试Hive（0.7.1） 1. 新建Java应用程序项目 2. 导 ...
hadoophivenetbeansjava云计算 
eclipse_cc 评论(0) 有3578人浏览 2012-02-18 16:00

HIVE配置postgresql元数据库

1.在hive-0.7.1/conf目录下面hive-site.xml文件里面主要修改 javax.jdo.option.ConnectionURL javax.jdo.option.ConnectionDriverName javax.jdo.option.ConnectionUserName javax.jdo.option.ConnectionPassword 等4个属性。 详细如 ...
hive 
lida2006 评论(0) 有2002人浏览 2012-02-15 10:14

基于HIVE文件格式的map reduce代码编写

by hugh.wangp   我们的数据绝大多数都是在HIVE上，对HIVE的SEQUENCEFILE和RCFILE的存储格式都有利用，为了满足HIVE的数据开放，hive client的方式就比较单一，直 ...
hivesequencefilercfilewordcountmapreduce 
hugh.wangp 评论(0) 有12903人浏览 2012-02-14 19:03

HIVE文件存储格式的测试比较

by hugh.wangp   根据自身涉及到的数据分布和使用需求，对HIVE上的三类文件格式做了如下测试，指导HIVE的文件格式选型。测试存在环境、数据分布、测试偏重点的不同，本测试只供参考，不作为大家选型决策的绝对指导。 HIVE的三种文件格式：TEXTFILE、SEQUENCEFILE、RCFILE中，TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的，RCFILE ...
hive文件格式rcfilesequencefile 
hugh.wangp 评论(1) 有3727人浏览 2012-02-13 17:26

hive 操作语句

https://cwiki.apache.org/confluence/display/Hive/LanguageManual
hivehadoop 
黎明lm 评论(0) 有1011人浏览 2012-02-13 14:13

hive+hbase整合

用hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面 的 hql查询.hive也即 做数据仓库 1. 基于Hadoop+Hive架构对海量数据进行查询：http://blog.csdn.net/kunshan_shenbin/article/details/7105319 2. HBase 0.90.5 ...
hivehbasehadoop 
黎明lm 评论(0) 有6114人浏览 2012-02-03 16:48

使用MySQL作为Hive的Metastore

使用MySQL作为Hive的Metastore 前提是成功安装了HIVE和MYSQL 在hive-site.xml中添加如下内容，指定METASTORE的地址以及连接方式 <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql ...
hivemysqljavahadoop 
黎明lm 评论(0) 有2015人浏览 2012-02-01 17:56

hive sql 语法

hive 基本语法 本来想讲自己用到的写出来了,结果发现一个比较全面的文章已经介绍过了,那我就不在重新发明轮子了,我也跟着学习一下。 转自：http://jeffxie.blog.51cto.com/1365360/317524 DDL Operations 创建表 hive> CREATE TABLE pokes (foo INT, bar STRING); 创建表并创建索引字段ds ...
hivehadoopsql 
黎明lm 评论(0) 有1477人浏览 2012-02-01 10:14

hive安装

hive安装教程 由于为了处理大量的搜索日志,所以经过考察决定使用hive作为数据仓库来分析处理大量的用户搜索日志,安装了hive 并且集成了hbase,最近还是有很多人问我hive怎么安装,那我就把我安装的过程公开吧,希望哪里不对的地方大家指正下。 1. 官网下载hive http://mirror.bit.edu.cn/apache//hive/hive-0.7.1/ 注:由于我的ha ...
hivehadoophbasemysqlapache 
黎明lm 评论(0) 有1451人浏览 2012-02-01 09:43

hive中antlr语法文件的编译

最近项目需要想用到hive中antlr的sql语法解析做二次开发，之前看hive源码的时候编译过，也遇到不少问题，现在居然忘了，看来好记性不如烂笔头，差记性就更加得多写写了。 编译是在windows xp环境下进行的，下载所需要的文件如下： antlr-2.7.7.jar antlr-3.0.1.jar stringtemplate-3.1b1.jar Hive.g 文件放在目录 ...
hiveantlr词法分析语法分析sql 
denniszjw 评论(1) 有3950人浏览 2012-01-31 15:55

hive/hbase+thrift安装教程

1安装 thrift 安裝需要使用到的软件： 我用的是thrift-0.6.0   yum  install libboost-dev libevent-dev python-dev automake pkg-config libtool flex bison g++ ./configure  make && make install ...
hadoophivethrifthbasehdfs 
hao3721 评论(0) 有2573人浏览 2012-01-14 17:58

hadoop+hive配置

    首先根据http://cp1985chenpeng.iteye.com/blog/1328541中配置好hadoop分布式。 然后在master上下载hive 安装hive很简单，首先解压缩。 然后配置环境变量以ubuntu为例 $sudo vim /etc/environment 添加 JAVA_HOME="/usr/lib/jvm/java-6-sun&qu ...
hadoophive 
cp1985chenpeng 评论(0) 有4621人浏览 2011-12-28 17:51

HADOOP1.0-hadoop、hive、derby安装部署手册

HADOOP集群安装部署 1       前言 本文档是设想在多台服务器上部署HADOOP的实现过程； 2       创建用户 建议同个集群中的用户和用户组，都是相同的，以便管理和维护。 2.1     生成创建用户的运行角本 为不同服务器创建同样的用户和组，创建脚本的目的是让不同服务器可以直接运行此脚本，实现用户创建的过程。 用root用户登录linux，运行命令： [root@ ...
HADOOP集群hivederbymapreduce 
szjian 评论(0) 有1607人浏览 2011-11-01 09:14

Hive UDF开发

Hive进行UDF开发十分简单，此处所说UDF为Temporary的function，所以需要hive版本在0.4.0以上才可以。 Hive的UDF开发只需要重构UDF类的evaluate函数即可。例： package com.hrj.hive.udf; import org.apache.hadoop.hive.ql.exec.UDF; public class helloUDF extend ...
hadoophiveudf 
szjian 评论(0) 有983人浏览 2011-10-31 09:26

安装Hive

从http://archive.cloudera.com/cdh/3/中下载hive-0.7.1-cdh3u1.tar.gz。 在安装了Hadoop的namenode上解压Hive: $tar zxvf hive-0.7.1-cdh3u1.tar.gz -C /home/hadoop/cdh3 修改hive安装目录下/conf/hive-env.sh.template中的HADOOP_HOME为 ...
hivehadoop 
wadefall 评论(0) 有6576人浏览 2011-10-20 17:08

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics