博客首页 → hive

最新文章列表

drill1.0配置hive storage plugin及测试

drill1.0配置hive storage plugin及测试 drill,hive 截止到目前本博客发布前，apache drill最新发布版本是1.0.0，对与此版本的数据源支持和文件格式的支持： avro parquet
drillhivesnappysequencefile 
duguyiren3476 评论(0) 有3187人浏览 2015-08-06 10:18

[一起学Hive]之十七-从Hive表中进行数据抽样-Sampling

关键字：Hive数据取样、Hive Sampling、Hive TABLESAMPLE. 在Hive中提供了数据取样（SAMPLING）的功能，用来从Hive表中根据一定的规则进行数据取样，Hive中的数据取样支持分桶表取样和数据块取样。   16.1 数据块取样（Block Sampling） block_sample: TABLESAMPLE (n PERCENT) 根据输入的i ...
hive一起学hive 
superlxw1234 评论(1) 有5310人浏览 2015-08-06 08:27

tez ui 安装测试

tez ui 安装测试 标签（空格分隔）： 未分类 环境：hadoop-2.7.1，tez-0.7.0，tomcat 7 将编译后的tez-ui.xxx.war文件复制到tomcat的webapps目录中 修改tez-ui的war解压后的文件scripts/configs.js文件 App.setConfigs({ /* Environment configurations ...
tezhadoophive 
duguyiren3476 评论(0) 有4013人浏览 2015-08-04 17:03

[一起学Hive]之十六-Hive的WEB页面接口-HWI

关键字：Hive WEB接口、Hive HWI   Hive提供给用户的交互接口一般有三种：Hive命令行(Hive Command Line)、JDBC/ODBC以及Hive WEB Interface（HWI）。对于开发者来说，最常用的是Hive命令行。如果是将Hive开放给数据分析或数据运营人员做即席查询，那么使用Hive WEB页面接口(HWI)应该是比较方便的。 本章就介绍一下Hi ...
hivehive hwi 
superlxw1234 评论(1) 有2042人浏览 2015-07-20 10:02

spark sql 访问hive数据的配置详解

spark sql 能够通过thriftserver 访问hive数据，默认spark编译的版本是不支持访问hive，因为hive依赖比较多，因此打的包中不包含hive和thriftserver,因此需要自己下载源码进行编译，将hive，thriftserver打包进去才能够访问，详细配置步骤如下：   1、下载源码   2、下载Maven,并配置 此配置简单，就略过   3、使用 ...
spark sqlhivethriftserver 
daizj 评论(0) 有10760人浏览 2015-07-15 23:12

[一起学Hive]之十五-分析Hive表和分区的统计信息(Statistics)

关键字：Hive统计信息、分析Hive表、Hive Statistics   类似于Oracle的分析表，Hive中也提供了分析表和分区的功能，通过自动和手动分析Hive表，将Hive表的一些统计信息存储到元数据中。   表和分区的统计信息主要包括：行数、文件数、原始数据大小、所占存储大小、最后一次操作时间等；   14.1 新表的统计信息 对于一个新创建的表，默认情况下，如果通过I ...
hivehive分析表hive统计信息hive Statistics 
superlxw1234 评论(1) 有2917人浏览 2015-07-15 08:51

一起学Hive系列文章

  [一起学Hive]系列文章 目录贴，入门Hive，持续更新中。   [一起学Hive]之一—Hive概述，Hive是什么 [一起学Hive]之二—Hive函数大全-完整版 [一起学Hive]之三—Hive中的数据库(Database)和表(Table) [一起学Hive]之四-Hive的安装配置 [一起学Hive]之五-Hive的视图和分区 [一起学Hive]之七-向Hive ...
hiveHive入门 
superlxw1234 评论(0) 有1535人浏览 2015-07-14 15:47

hive创建表是报错： Specified key was too long; max key length is 767 bytes

今天在hive客户端创建表时报错，具体操作如下   hive> create table test2(id string); FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:javax.jdo.JDODataStoreEx ...
hiveSpecified key was too long; max key length is 767 bytes 
daizj 评论(0) 有3740人浏览 2015-07-13 09:19

MapReduce和Hive支持递归子目录作为输入

关键字：MapReduce、Hive、子目录、递归、输入、Input、mapreduce.input.fileinputformat.input.dir.recursive、hive.mapred.supports.subdirectories     一般情况下，传递给MapRe ...
mapreducehive递归遍历子目录 
superlxw1234 评论(0) 有3213人浏览 2015-07-08 14:41

[一起学Hive]之十四-Hive的元数据表结构详解

关键字：Hive元数据、Hive元数据表结构   之前在 “[一起学Hive]之一–Hive概述，Hive是什么”中介绍过，Hive自己维护了一套元数据，用户通过HQL查询时候，Hive首先需要结合元数据，将HQL翻译成MapReduce去执行。 本文介绍一下Hive元数据中重要的一些表结构及用途，以Hive0.13为例。   文章最后面，会以一个示例来全面了解一下，Hive的元数据是怎 ...
hivehive元数据结构 
superlxw1234 评论(1) 有2384人浏览 2015-07-08 12:59

hive having count 不能去重

hive在使用having count()是，不支持去重计数   hive (default)> select username from t_test_phonenum where ds=20150701 group by username having count(distinct sex)>1 limit 10;  FAILED: SemanticException [E ...
hivehaving count去重计数 
daizj 评论(0) 有7575人浏览 2015-07-03 11:10

[一起学Hive]之十三-Hive整合HBase，操作HBase表

关键字：Hive整合HBase、Hive操作HBase表   十二、Hive整合HBase，操作HBase表   HBase是被设计用来做k-v查询的，但有时候，也会遇到基于HBase表的复杂统计，写MR很不效率。Hive考虑到了这点，提供了操作HBase表的接口。   关于Hive操作HBase表的原理，请参考我之前的博文： http://superlxw1234.iteye.c ...
hivehive整合hbase 
superlxw1234 评论(1) 有2598人浏览 2015-06-30 09:19

[一起学Hive]之十一-Hive中Join的类型和用法

        关键字：Hive Join、Hive LEFT|RIGTH|FULL OUTER JOIN、Hive LEFT SEMI JOIN、Hive Cross Join         Hive中除了支持和传统数据库中一样的内关联、左关联、 ...
hiveHive Join 
superlxw1234 评论(1) 有2058人浏览 2015-06-25 15:43

[一起学Hive]之十-Hive中Join的原理和机制

关键词：Hive MapJoin、Hive Common Join、Hive Reduce Join、Hive Join 九、Hive中Join的原理和机制 笼统的说，Hive中的Join可分为Common Join（Reduce阶段完成join）和Map Join（Map阶段完成join）。本文简单介绍一下两种join的原理和机制。 9.1 Hive Common Join 如果不指定M ...
HiveHive MapJoinHive Common Join 
superlxw1234 评论(1) 有2444人浏览 2015-06-25 10:53

[一起学Hive]之九-Hive的查询语句SELECT

         关键字：Hive SELECT、ORDER BY、SORT BY、DISTRIBUTE BY、CLUSTER BY、Hive子查询、Hive虚拟列   八、Hive的查询语句SELECT         在所有的数据库系统中，SELECT语句是使用最多，也最复杂的一块，Hive中的查询语句SELECT支持的语法当然也比较复杂，本文只能尽力去介绍。   8.1 基础查询语 ...
hive一起学HiveHive SELECT 
superlxw1234 评论(1) 有3345人浏览 2015-06-24 11:21

Hive 查询报错原因

环境:CDH5.3.3,Hive版本 0.13.1 执行 select * from sample_08不报错， 执行 select code from sample_08 报错如下： 写道 java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 1 from ...
hive 
qun715715 评论(0) 有3317人浏览 2015-06-18 14:34

[一起学Hive]之八-使用Hive命令行

      Hive提供的几种用户交互接口中，最常用的就是命令行接口。本文简单介绍一下Hive命令行接口(Hive Command Line)及Hive交互Shell(Hive Interactive Shell)的一些使用。   七、使用Hive命令行 7.1 Hive Command Line 输入$HIVE_HOME/bin/hive –H 或者 –help可以显示帮助选项：   ...
hivehive命令行 
superlxw1234 评论(1) 有2388人浏览 2015-06-16 15:56

[一起学Hive]之六-Hive的动态分区

       前面文章介绍了Hive中是支持分区的。        关系型数据库（如Oracle）中，对分区表Insert数据时候，数据库自动会根据分区字段的值，将数据插入到相应的分区中，Hive中也提供了类似的机制，即动态分区(Dynamic Partition)，只不过，使用Hive的动态分区，需要进行相应的配置。        先看一个应用场景，源表t_lxw1234的数据如下： SE ...
hivehive动态分区 
superlxw1234 评论(1) 有2297人浏览 2015-06-16 08:18

[一起学Hive]之七-向Hive表中加载数据

      在Hive中建好表之后，需要将数据加载进来，以便做后续查询分析，本文介绍向Hive表中加载数据的几种方式。 6.1 建表时候直接指定        ...
hivehive加载数据 
superlxw1234 评论(1) 有2128人浏览 2015-06-15 17:36

[一起学Hive]之五-Hive的视图和分区

同关系型数据库一样，Hive中也支持视图(View)和分区(Partition)，但与关系型数据库中的有所区别，本文简单介绍Hive中视图和分区的示例。 在真实业务场景下，视图的应用比较少，分区使用的非常多，因此建议对分区这块多花的时间来了解。   四、Hive的视图和分区 4.1 Hive中的视图 和关系型数据库一样，Hive中也提供了视图的功能，注意Hive中视图的特性，和关系型数据 ...
hivehive视图hive分区 
superlxw1234 评论(1) 有1905人浏览 2015-06-15 11:09

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics