博客首页 → hive

最新文章列表

hive not in

当前HIVE 不支持 not in 中包含查询子句的语法，形如如下的HQ语句是不被支持的: 查询在key字段在a表中，但不在b表中的数据  Sql代码   select a.key from a where key not in(select key 
hive 
blackproof 评论(1) 有986人浏览 2014-11-25 18:00

hive建表

hive分内部表和外部表    create table xxx( logtime string , traceid string , param string , result string , runtime string ) partitioned by ( lo ...
hive建表 
blackproof 评论(0) 有1235人浏览 2014-11-11 15:02

初装Hive运行时候报错 Exception in thread "main" java.io.IOException: Permission denied

将Hadoop和Hive客户端拷贝到另一台机器，除了root用户，其他运行运行hive命令均报错：   Exception in thread "main" java.io.IOException: Permission denied at java.io.UnixFileSystem.createFileExclusively(Native Method ...
hive 
superlxw1234 评论(0) 有3927人浏览 2014-11-04 10:32

hive查询导出到hdfs，hive，file

INSERT OVERWRITE LOCAL DIRECTORY '/script/dirk.zhang/test' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' select... ...;     insert overwrite [local] directory '/data/movielens/100k/output/item_rele ...
hive 
blackproof 评论(0) 有6502人浏览 2014-10-28 20:22

hive 读取查询 hbase 数据

常出现的可能是版本问题， 我hbase使用的是0.96.x hive使用0.13.1版本 如果版本不对会报错。 将hbase lib下的相关包全部移至hive的lib里面， 如下包： guava-12.0.1.jar hbase-client-0.96.1.1-cdh5.0.2.jar hbase-common-0.96.1.1-cdh5.0.2.jar hbase-common- ...
hbasehive 
xiangjinqi 评论(0) 有1811人浏览 2014-10-22 17:50

转载 Spark 0.9 & Shark 0.9安装手册

研究Spark & Shark的安装，找到几篇写的比较全面和详细的好文章，转载一下； http://www.hellofjn.com/blog/index.php/archives/258，by Eric Van，非常详细； http://www.aboutyun.com/thread-8442-1-1.html，by xioaxu790，这篇也可以；
大数据sparksharkhiveHadoop 
pzx888 评论(0) 有575人浏览 2014-09-23 14:00

hive local mr转

在hive中运行的sql有很多是比较小的sql,数据量小,计算量小.这些比较小的sql如果也采用分布式的方式来执行,那么是得不偿失的.因为sql真正执行的时间可能只有10秒,但是分布式任务的生成得其他过程的执行可能要1分钟.这样的小任务更适合采用lcoal mr的方式来执行.就是在本地来执行,通过把输入数据拉回客户端来执行. 拿select 1 from dual来看下,两种执行方式的效率差距. ...
hivelocal mr 
blackproof 评论(0) 有971人浏览 2014-09-18 14:21

hive 使用技巧笔记

  例子： INSERT OVERWRITE TABLE prices_collected_${hiveconf:wid_version} select  pc.collect_id as product_id , regexp_extract(pc.price,'(\\d*\\.?\\d+)',1) as price , pc.region, '' as location_are ...
hivepg 
michael_roshen 评论(0) 有4439人浏览 2014-09-11 14:42

hive日志分析实战（一）

分析用户玩家流失率 （流失：如果一用户登陆某游戏某区服后接下来一周时间内登陆该区服的天数少于2天，则认为该用户已流失） 日志格式如下：  Text代码   {"cnt":3,"src":"bbs","time":20130622063117,"qid":"100005 ...
hive 
wbj0110 评论(0) 有1059人浏览 2014-09-08 14:20

hive日志分析实战（二）

需求 统计某游戏平台新用户渠道来源 日志格式如下：   Text代码   Jul 23 0:00:47  [info] {SPR}gjzq{SPR}20130723000047{SPR}85493108{SPR}S1{SPR}{SPR}360wan-2j-reg{SPR}
hive 
wbj0110 评论(0) 有766人浏览 2014-09-08 14:19

hive结合python： Transform的使用

  使用场景是这样的：     如何将一行变换成多行，如下，第一列的值是多个以分号分隔的属性：属性值字符串，现在我想把这列拆     成属性 和 属性值两列来显示，如下： # ["规格:RN1-10/51;规格:RN1-10/52;规格:RN1-10/53", '11', '22'] # ["规格", "RN1-10/51", ' ...
hivehadooptransformusing 
michael_roshen 评论(0) 有8692人浏览 2014-09-05 19:04

hive经验

1.hive的join，不能将 t2 join t3 on t2.id=t3.id外边加括号    hive的多个join，也不能加括号，antlr写的也太次了 2.hive的union，不能给 t2 union all t3中的t2.t3加上括号 3.hive的column别名，不能取已经存在的column   4.if(x=1 and y=2,1,null) if函数条件只能是an ...
hive经验 
blackproof 评论(0) 有2291人浏览 2014-09-05 13:56

hadoop学习--基于Hive的Hadoop日志分析

本文将本地的hadoop日志，加载到Hive数据仓库中，再过滤日志中有用的日志信息转存到Mysql数据库里。 环境：hive-0.12.0 + Hadoop1.2.1 1、日志格式   2014-04-17 22:53:30,621 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* addToInvalidates: blk_48561246 ...
hive 
wbj0110 评论(0) 有1455人浏览 2014-09-02 14:34

Using Hive for Data Analysis

概述 Hive is designed to enable easy data summarization and ad-hoc analysis of large volumes of data. It uses a query language called Hive-QL which is similar to SQL. In this tutorial, we will explor ...
hive 
wbj0110 评论(0) 有662人浏览 2014-09-02 14:34

hive支持sql大全

hive操作数据库还是比较方便的，因此才会有hbase与hive整合。下面我们hive的强大功能吧。为了增强阅读性，下面提几个问题：hive支持哪些运算符？hive是否支持左右连接？hive如何截取字符串？hive提供了那些系统函数？ 目录 一、关系运算：... 4 1. 等值比较: =. 4 2. 不等值比较: <&gt
hive 
wbj0110 评论(0) 有1031人浏览 2014-09-02 14:09

基于hive的日志分析系统

 hive 简介         hive 是一个基于 hadoop 的开源数据仓库工具，用于存储和处理海量结构化数据。    它把海量数据存储于 hadoop 文件系统，而不是数据库，但提供了一套类数据库的数据存储和处理机制，并采用 HQL （类 SQL ）语言对这些数据进行自动化管理和处理。我们可以把 hive 中海量结构化数据看成一个个的表，而实际上这些数据是分布式存储在 HDFS 中的 ...
Hive 
wbj0110 评论(0) 有979人浏览 2014-08-29 16:01

HIVE 处理日志，自定义inputformat 完整版

为何要设置此功能是由于 hive fields terminated by '||||' 不支持 字符串导致   将你的inputformat类打成jar包，如MyInputFormat.jar将MyInputFormat.jar放到 hive/lib里，然后就可以建表了假设你的inputFormat类路径是com.hive.myinput则建表语句为：create table tbname ...
hive 
wbj0110 评论(0) 有1205人浏览 2014-08-29 15:41

hive支持sql大全

#建表 create table sign_in (uri string , koudaiToken string) row format delimited fields terminated by ‘|’; #如果不存在表则创建 create table if not exists mytable (id bigint,name st ...
hive 
wbj0110 评论(0) 有958人浏览 2014-08-27 12:12

hive并行导入数据锁问题

hive同时load数据时，即使是不同分区，也会lock表， conflicting lock present for ymds_logs@ymds_hadoop mode EXCLUSIVE http://www.cnblogs.com/ggjucheng/archive/2013/01/16/2862749.html 解决方法： 临时设置 set hive.support.concurrenc ...
hivelock 
lookqlp 评论(0) 有2215人浏览 2014-08-26 10:46

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics