博客首页 → hive

最新文章列表

hive常用命令

1.把内部表设置成外部表： alter table table_name set TBLPROPERTIES ('EXTERNAL'='TRUE'); 2.查看Hadoop的hdfs文件 hadoop fs -text | more 3.查看外部表信息 describe extended table_name 4.创建外部表 CREATE EXTERNAL TABLE IF NOT EXIS ...
hive常用shell命令hive命令 
雨一直下 评论(0) 有1193人浏览 2014-04-21 11:01

Hadoop Hive sql语法详解

     Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构 化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需 要的内容，这套SQL 简称Hive SQL，使不熟悉mapreduce 的用户很方便的利 ...
mapreducehive 
myhadoop 评论(0) 有1304人浏览 2014-04-16 17:30

java.net.ConnectException: to 0.0.0.0:10020 failed on connection exception

在DataNode节点中的Hive CLI中执行 select count(*) from table_name 查询时报错： java.io.IOException: java.net.ConnectException: Call From Slave7.Hadoop/192.168.8.207 to 0.0.0.0:10020 failed on connection exception: ...
micmiuhive 
sjsky 评论(1) 有4962人浏览 2014-04-14 23:36

Sqoop安装配置及演示

Sqoop是一个用来将Hadoop（Hive、HBase）和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。 Sqoop目前已经是Apache的顶级项目了，目前版本是1.4.4 和 Sqoop2 1.99.3，本文以1.4.4的版本为例讲解基本的 ...
micmiusqoophivehbasehadoop 
sjsky 评论(0) 有2072人浏览 2014-04-09 16:51

Hive和HBase整合

本文主要描述Hive和HBase 环境整合配置的详细过程： 基本环境 整合配置 测试验证     详见：http://www.micmiu.com/bigdata/hive/hive-hbase-integration/
micmiuhivehbase 
sjsky 评论(0) 有1187人浏览 2014-04-09 16:50

HiveException:Not a host:port pair: PBUF

HBase和Hive整合后，在Hive shell中执行建表语句时错误信息如下：   HiveException:Not a host:port pair: PBUF   详见：http://www.micmiu.com/bigdata/hive/hive-exception-not-a-host-port-parir-pbuf/  
micmiuhivehbase 
sjsky 评论(0) 有1327人浏览 2014-04-09 16:49

hadoop 排序优化

转：http://blog.csdn.net/wf1982/article/details/7369324   hive 全排序优化 全排序 Hive的排序关键字是SORT BY，它有意区别于传统数据库的
hivehadoop排序优化 
blackproof 评论(0) 有1352人浏览 2014-04-08 23:20

Hive metastore三种配置方式

Hive的meta数据支持以下三种存储方式，其中两种属于本地存储，一种为远端存储。远端存储比较适合生产环境。Hive官方wiki详细介绍了这三种方式，链接为：Hive Metastore。 一、本地derby 这种方式是最简单的存储方式，只需要在hive-site.xml做如下配置便可 <?xml version="1.0"?> <?xml-style ...
hive 
tangjunliang 评论(0) 有5679人浏览 2014-03-28 13:28

Hadoop家族安装系列(3)——hive0.12安装

在Hadoop1.2.1分布式集群环境下安装hive0.12   ● 前言： 1. 大家最好通读一遍过后，在理解的基础上再按照步骤搭建。 2. 之前写过两篇<<在VMware下安装Ubuntu并部署Hadoop1.2.1分布式环境>>、《在Hadoop1.2.1分布式集群环境下安装Mahout0.9框架》都是Hadoop家族一系列的，后续还会有其它内容，敬请期待！ ...
hivehive安装hive0.12安装hivehadoop 
cumtheima 评论(2) 有4800人浏览 2014-03-08 22:30

Hive自定义分隔符InputFormat

Hive默认创建的表字段分隔符为：\001(ctrl-A)，也可以通过 ROW FORMAT DELIMITED FIELDS TERMINATED BY 指定其他字符，但是该语法只支持单个字符，如果你的分隔符是多个字符，则需要你自定义InputFormat来实现，本文就以简单的示例演示多个字符作为分隔符的实现。 [一]、开发环境 Hadoop 2.2.0 Hive 0.12.0 Jav ...
micmiuHiveinputformat 
sjsky 评论(0) 有1649人浏览 2014-02-24 17:34

Hive教程之DML数据导入导出

文章基本目录结构： 数据导入 导入本地文件 导入hdfs文件 数据导出 导出到新表 导出到本地文件 导出到hdfs文件 本文的测试基于Hadoop 2.2.0 +
micmiuhivedml 
sjsky 评论(0) 有588人浏览 2014-02-20 17:26

Hive教程之metastore的三种模式

Hive中metastore（元数据存储）的三种方式： 内嵌Derby方式 Local方式 Remote方式 详见：http://www.micmiu.com/opensource/hadoop/hive-metastore-config/  
micmiuhivemetastore 
sjsky 评论(0) 有1365人浏览 2014-02-20 17:24

Hive教程之DDL+DML

在完成 Hive安装配置 后自然而然就是它的基本应用，本文就基本操作进行一些演示： DDL操作 DML操作 详见：http://www.micmiu.com/opensource/hadoop/hive-tutorial-ddl-dml/  
micmiuHiveDDLDML 
sjsky 评论(0) 有998人浏览 2014-02-11 17:21

Hive安装配置详解

本文主要是在Hadoop单机模式中演示Hive默认（嵌入式derby 模式）安装配置过程，目录结构如下： 基础环境 Hive安装配置 启动及演示   详见：http://www.micmiu.com/opensource/hadoop/hive-default-setup/    
micmiuHive 
sjsky 评论(0) 有814人浏览 2014-02-11 17:20

hadoop的mapreduce的join操作原理

  1. 概述 如果我们有如下的两个文件： person.txt(字段是id， name，addressId): 1       tom     100 2       jme     101 3       kite    102 4       jack    100 5       tim     101 address.txt(字段是id，name)： 100   ...
hadoophivejoinmapreduce 
jimmee 评论(0) 有9654人浏览 2014-01-23 16:23

hive编写udf处理非utf-8数据

      hive默认都是utf-8编码处理数据的，如果原始数据不是utf-8，例如是gbk，我们怎么处理这种数据呢？   方式很简单，我们写udf的时候，继承GenericUDF类就行了。例如：       public class CharsetConvertor extends GenericUDF { private transient StringObjectIns ...
hiveudfgbkutf-8编码 
jimmee 评论(4) 有6961人浏览 2014-01-23 12:40

Hive over HBase和Hive over HDFS性能比较分析

  环境配置： hadoop-2.0.0-cdh4.3.0 (4 nodes, 24G mem/node) hbase-0.94.6-cdh4.3.0 (4 nodes,maxHeapMB=9973/node) hive-0.10.0-cdh4.3.0   一、查询性能比较：     query1:         select count(1) from on_hdfs;    ...
hiveoverhbase 
superlxw1234 评论(1) 有7833人浏览 2014-01-22 16:16

hive hive.optimize.ppd=false导致map数量很大

hive官方https://cwiki.apache.org/confluence/display/Hive/LanguageManual+LateralView 说 Prior to Hive 0.6.0, lateral view did not support the predicate push-down optimization. In Hive 0.5.0 and earlier, if ...
hive 
lookqlp 评论(0) 有1876人浏览 2014-01-03 11:05

java访问hive的方式

保证hive --service hiveserver 1、jdbc方式 hive的lib下的jar全部都包含进去，另外要包含hadoop-0.20.2-core.jar
hive 
wangzjie 评论(0) 有892人浏览 2013-11-07 18:58

hive安装/启动以及源码调试

hive安装 1、安装hadoop并启动 2、安装hive 3、配置metastore（默认是derby，多用户操作时要改成mysql库） metastore_db无权限，或在EmbeddedMetastore模式下启用多个客户端都会报 Errorinmetadata:java.lang.RuntimeException:Unabletoinstantiateorg.apache.ha ...
hive 
wangzjie 评论(0) 有1436人浏览 2013-11-07 18:57

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics