博客首页 → hive

最新文章列表

HIVE QL

https://cwiki.apache.org/confluence/display/Hive/HiveQL#HiveQL-Set%2Fgetsystemproperties
hive 
binbinhu1987 评论(0) 有774人浏览 2013-04-26 11:11

hive安装完成后遇到的问题

安装好hive后，使用mysql存储元数据。 在启动hive是没有问题。 使用hive命令：show tables；是会出现以下错误。   hive> show tables > ; FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Communications link failure ...
Hadoophive 
511930751 评论(1) 有9189人浏览 2012-06-29 16:01

HIVE如何使用自定义函数

  HIVE提供了很多函数，但这些函数只能满足一般的需求，针对复杂的业务分析，需要自己开发适合业务需求的函数。如何开发HIVE的UDF/UDAF/UDTF，请参看 ...
hiveudf自定义函数 
hugh.wangp 评论(0) 有2719人浏览 2012-06-28 19:44

hive中转义特殊字符

原SQL如下：   regexp_extract(lower(url), 'bookid\\=([^&$]+)', 1)   封装hive sql用的是perl,perl中用hive -e的方式将sql传给hive执行，上面的语句中perl经过转义，变成了   regexp_extract(lower(url), 'bookid=([^&5.008008+)', 1) ...
hive特殊字符javaperl 
superlxw1234 评论(0) 有12154人浏览 2012-06-27 09:51

hive的不等值关联

hive中不支持不等值关联，诸如：   select a.app_name, b.app_name from a left outer join b on (b.app_name like a.app_name)   select a.app_name, b.app_name from a left outer join b on (b.num < a.n ...
hive非等值连接join 
superlxw1234 评论(0) 有7796人浏览 2012-06-25 10:22

hive中一些实用的小技巧

1. 忽略错误，继续执行下面的语句，特别是在使用hive -f "xxx.sql"时候比较实用：       hive --hiveconf hive.cli.errors.ignore=true -f "xxx.sql"   2. 虚拟列：     INPUT__FILE__NAME（输入文件的路径）     BLOCK__OFFSET__INS ...
hive实用 
superlxw1234 评论(0) 有4200人浏览 2012-06-21 17:47

mapreduce报错：java.io.IOException: Split metadata size exceeded 10000000.

Failure Info:Job initialization failed: java.io.IOException: Split metadata size exceeded 10000000. Aborting job job_201205162059_1073852 at org.apache.hadoop.mapreduce.split.SplitMetaInfoReader.re ...
hadoophive 
superlxw1234 评论(0) 有7316人浏览 2012-06-21 15:46

hive新旧jar包冲突引起的错误java.lang.NoSuchFieldError: info

Exception in thread "main" java.lang.NoSuchFieldError: info at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:583) at org.apache.hadoop.hive.cli.CliDriver.main(CliD ...
hadoophive 
superlxw1234 评论(0) 有5194人浏览 2012-06-21 11:34

HIVE元数据

HIVE元数据表数据字典： 表名 说明 BUCKETING_COLS Hive表CLUSTERED BY字段信息(字段名，字段序号)
HiveMetadata元数据Mysql 
hugh.wangp 评论(1) 有13383人浏览 2012-06-20 12:52

hive0.80, 0.90新特性

目前使用的hive版本为0.70,看了一下0.80和0.90的新特性，还是有蛮多实用的东西， 主要是性能的提升，但是metastore变动较大，升级有一定的风险，目前正在测试：     0.80: https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12310843&version=12316178 0 ...
hadoophivehive新特性 
superlxw1234 评论(0) 有1806人浏览 2012-06-20 10:12

Hive常用的SQL命令操作

创建表 hive> CREATE TABLE pokes (foo INT, bar STRING); 创建表并创建索引字段ds hive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING); 显示所有表 hive> SHOW TABLES; 按正条件（正则表达式）显示表， ...
hivesql 
bigsea 评论(0) 有953人浏览 2012-06-19 10:39

HIVE中row_number函数的描述与使用场景

假设一个场景：存在表user_score,该表的数据如下 idratescore1'0-4'102'0-4'403'0-4'304'0-4'205'5-10'106'5-10'407'5-10'308'5-10'209'11-20'1010'11-20'4011'11-20'3012'11-20'20 现在要求用一条查询语句取出每种rate下score最大的两条记录，也就算取出id为：2，3，6，7 ...
sqlhivesqlhiverow_number 
chiyx 评论(2) 有50379人浏览 2012-06-12 23:37

Hive Shell Client中的顺序问题

语句块1， 移动到最后， 报错 语句块2， 移到 语句块3 后面， 也报错   上面两种情况都报同一种错误：见图二   图一，正确的顺序 图二,  报错
hiveshell clienthive client 
ama2000 评论(0) 有856人浏览 2012-06-11 17:17

使用LineageInfo分析hive sql中的表关系

org.apache.hadoop.hive.ql.tools.LineageInfo   public static void main(String[] args) throws IOException, ParseException, SemanticException { //String query = args[0]; //String quer ...
hivehadoopsql解析 
superlxw1234 评论(0) 有3802人浏览 2012-06-11 11:10

hive权限控制---限定用户的某些操作权限

package com.lxw.hive; import org.apache.hadoop.hive.ql.parse.ASTNode; import org.apache.hadoop.hive.ql.parse.AbstractSemanticAnalyzerHook; import org.apache.hadoop.hive.ql.parse.HiveParser; i ...
hadoophive权限控制 
superlxw1234 评论(3) 有3674人浏览 2012-06-05 16:31

Hive对形如f(column)进行分组的两种办法

在使用HIVE时，如果某个列应用了某个函数并使用如f(col) 重新命名列f(col) as fc, 对想基于fc直接直接group by时，如： select f(col) as fc, count(*) from table_name group by fc HIVE是不支持的，运行该语句会报错。 可以使用以下的两种方式来达到相同的目的： （1）使用子查询 select sq.fc, c ...
hivegroup 
chiyx 评论(0) 有2728人浏览 2012-06-04 18:53

LINUX下单机安装HADOOP+HIVE手册

  HADOOP篇 HADOOP安装 1.tar -zvxf hadoop-0.19.2.tar.gz 2.HADOOP的安装路径添加到环境文件/etc/profile中： export HADOOP_HOME=/home/hadoop/setup/hadoop-0.19.2 export PATH=$HADOOP_HOME/bin:$PATH HADOOP配置 1.在$ ...
hadoophivelinux 
hugh.wangp 评论(0) 有2206人浏览 2012-05-31 15:59

hive--Sort Merge Bucket Map Join

Bucket Map Join   1. 测试1：两个1亿多记录的表，不存在数据倾斜与笛卡尔积，测试下来与普通的join差不多；   2. 测试2：一个4000万和一个5000多万的表join,关联键数据倾斜，并且笛卡尔积，效果明显；   create table lxw_test(imei string,sndaid string,data_time string) CL ...
hadoophivemapjoinbucket 
superlxw1234 评论(1) 有8756人浏览 2012-05-30 19:31

Hbase分析报告

本文基于环境hadoop-0.16.4 和 hbase-0.1.3 编写 Hbase是一个分布式开源数据库，基于Hadoop分布式文件系统，模仿并提供了基于Google文件系统的Bigtable数据库的所有功能。 Hbaes的目标是处理非常庞大的表，可以用普通的计算机处理超过10亿行数据，并且有数百万列元素组成的数据表。 Hbase可以直接使用本地文件系统或者Hadoop作为数据存储方式，不过 ...
hbasehadoophive 
badboyjaker 评论(0) 有1296人浏览 2012-05-23 13:17

HIVE简单部署

1.下载   http://labs.renren.com/apache-mirror/hive/stable/hive-0.8.1.tar.gz 2.安装 安装hive之前确保已经安装了hadoop，hadoop简单安装请查看[url] http://alikevin2011.iteye.com/blog/1534712[/url] [root@inc-platform-dev-145-5 h ...
HIVE 
AliKevin2011 评论(0) 有1427人浏览 2012-05-22 09:06

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics