博客首页 → hive

最新文章列表

hive解析lzo文件失败,No LZO codec found, cannot run

Hive创建外部表，指向lzo格式文件时，无法解析出数据，报错如下： java.io.IOException: No LZO codec found, cannot run. hiveserver2日志报错如下： Diagnostic Messages for this Task:Error: java.io.IOException: java.lang.reflect.Invocation ...
hadoophivelzoNo LZO codec foundcannot run 
beat_it_ 评论(0) 有5879人浏览 2015-11-21 11:03

hive进行count(*)查询报错

使用Hive进行count(*)查询时报错，错误信息如下： chmod: changing permissions of 'hdfs://master138:9000/tmp/hive/anonymous/e013b757-aeee-4017-b0a8-d274d2fafee9/hive_2015-11-20_18-41-46_506_1447956695788790313-3/-mr-1000 ...
hivehadoopcountcount(*)Permission denied 
beat_it_ 评论(0) 有5035人浏览 2015-11-21 10:52

hive 查看一个表的总文件大小方法

要查看一个hive表文件总大小时，我们可以通过一行脚本快速实现，其命令如下：   $ hadoop fs -ls  /user/hive/warehouse/test_table/ds=20151111|awk -F ' ' '{print $5}'|awk '{a+=$1}END{print a}' 32347122009   这样可以省去自己相加，下面命令是列出该表的详细文件列表 ...
hive计算表的总大小 
daizj 评论(0) 有14433人浏览 2015-11-12 18:02

hive 行转列和列转行的方法

一、行转列的使用 １、问题 hive如何将 a       b       1a       b       2a       b       3c       d       4c       d       5c       d       6 变为： a       b       1,2,3c       d       4,5,6   ２、数据
hive行转列列转行lateral view explodecollect_set 
daizj 评论(0) 有20376人浏览 2015-11-06 19:56

hive array、map、struct使用

hive提供了复合数据类型：Structs： structs内部的数据可以通过DOT（.）来存取，例如，表中一列c的类型为STRUCT{a INT; b INT}，我们可以通过c.a来访问域aMaps（K-V对）：访问指定域可以通过["指定域名称"]进行，例如，一个Map M包含了一个group-》gid的kv对，gid的值可以通过M['group']来获取Arrays：arr ...
hive复合类型mapstructarray 
daizj 评论(0) 有2100人浏览 2015-11-06 19:40

hive with查询用法及CTAS的使用

hive 可以通过with查询来提高查询性能，因为先通过with语法将数据查询到内存，然后后面其它查询可以直接使用  
hivewith 查询高性能查询CTAS视图 
daizj 评论(0) 有10680人浏览 2015-11-04 17:48

hive dynamic partitions insert java.lang.OutOfMemoryError: Java heap space

动态分区问题，如果数据量大或者当动态分区大甚至只有十几个时，会出现如下异常： 2015-10-23 16:43:54,165 INFO [fetcher#10] org.apache.hadoop.mapreduce.task.reduce.ShuffleSchedulerImpl: assigned 20 of 34 to spark-03:13562 to fetcher#10 20 ...
hivedynamicpartitions 
lookqlp 评论(0) 有3101人浏览 2015-10-26 18:03

[转] hive 基本语法

本来想讲自己用到的写出来了,结果发现一个比较全面的文章已经介绍过了,那我就不在重新发明轮子了,我也跟着学习一下。 转自：http://jeffxie.blog.51cto.com/1365360/317524 DDL Operations 创建表 hive> CREATE TABLE pokes (foo INT, bar STRING); 创建表并创建索引字段ds 
hiveddlqueryalter table基本语法 
107x 评论(0) 有1019人浏览 2015-10-12 16:06

Hive demo

package mytest.hive.jdbc.client; import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.SQLException; import java.sql.Statement; im ...
hiveJDBC 
jsjrjz08 评论(0) 有797人浏览 2015-10-12 13:34

[转] Hive几种数据导出方式

在本博客的《Hive几种数据导入方式》文章中，谈到了Hive中几种数据的导入方式，不同的数据导入方式用途不一样。今天我们再谈谈Hive中的几种不同的数据导出方式。可以根据导出的地方不一样，将这些方式分为三种：（1）、导出到本地文件系统；（2）、导出到HDFS中；（3）、导出到Hive的另一个表中。为了避免单纯的文字，我将一步一步地用命令进行说明。　　一、导出到本地文件系统hive> inse ...
hive导出分隔符 
107x 评论(0) 有496人浏览 2015-10-09 16:33

hive on spark 编译

前置条件说明 Hive on Spark是Hive跑在Spark上，用的是Spark执行引擎，而不是MapReduce，和Hive on Tez的道理一样。 从Hive 1.1版本开始，Hive on Spark已经成为Hive代码的一部分了，并且在spark分支上面，可以看这里https://github.com/apache/hive/tree/spark，并会定期的移到master分支上 ...
sparkhivemapreduce代码 
Stark_Summer 评论(0) 有4023人浏览 2015-09-30 17:27

sparksql与hive整合

hive配置 编辑 $HIVE_HOME/conf/hive-site.xml,增加如下内容: <property>  <name>hive.metastore.uris</name>  <value>thrift://master:9083</value>  <description>Thrift uri for ...
hivethriftsparksqlyarn 
Stark_Summer 评论(1) 有6577人浏览 2015-09-22 15:19

impala和hive shell下退格键出现 ^H的解决方法

通过impala-shell 连接到impala shell命令下是，输入命令要删除字符时会出现 ^H字符，而不能真正删除，如下所示：   [await]mqq@192.168.10.1:~$ impala-shell Starting Impala Shell without Kerberos authentication Connected to slave1:21000 Serv ...
impalahiveshell退格^H 
daizj 评论(0) 有3476人浏览 2015-09-16 17:52

[转] Hive 基础（1）：分区、桶、Sort Merge Bucket Join

Hive 已是目前业界最为通用、廉价的构建大数据时代数据仓库的解决方案了，虽然也有 Impala 等后起之秀，但目前从功能、稳定性等方面来说，Hive 的地位尚不可撼动。 其实这篇博文主要是想聊聊 SMB join 的，Join 是整个 MR/Hive 最为核心的部分之一，是每个 Hadoop/Hive/DW RD 必须掌握的部分，之前也有几篇文章聊到过 MR/Hive 中的 join，其 ...
hiveBucketpartitionSort Merge Bucket Joinsmb join 
107x 评论(0) 有1324人浏览 2015-09-14 15:34

启动hive命令报错 “Metastore contains multiple versions”

错误日志： Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient at org ...
hivemetastoremysqlVERSIONexception 
Stark_Summer 评论(0) 有4160人浏览 2015-09-02 14:40

Hive企业架构视频课程

网盘地址：http://pan.baidu.com/s/1eQErqAu 密码：6alg 备用地址（腾讯微云）：http://url.cn/53O882d 密码：2ZrfyQ 课程大纲 第一章：架构方面优化策略（5讲） Hadoop的主要性能瓶颈是IO负载，降IO负载是优化的重头戏。 本章大纲： 作业架构优化手段大探底 多个降IO负载的策略和场景                          ...
hive 
rryymmoK 评论(0) 有551人浏览 2015-08-28 08:44

Hive变量替换

Hive的变量前面有一个命名空间，包括三个hiveconf，system，env 和 hivevar   1. hiveconf的命名空间指的是hive-site.xml下面的配置变量值。 2. system的命名空间是系统的变量，包括JVM的运行环境。 3. env的命名空间，是指环境变量，包括Shell环境下的变量信息，如HADOOP_HOME之类的   普通的变量可以使用   ...
hive变量替换
wks3000 评论(0) 有4881人浏览 2015-08-23 19:01

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics