博客首页 → hive

最新文章列表

理解数据仓库中星型模型和雪花模型

在数据仓库的建设中，一般都会围绕着星型模型和雪花模型来设计表关系或者结构。下面我们先来理解这两种模型的概念。 （一）星型模型图示如下 ...
hivehadop 
qindongliang1922 评论(0) 有4417人浏览 2017-07-06 17:29

hive

安装 1.前提 配置Java hadoop /etc/profile JAVA_HOME HADOOP_HOME 2.解压 tar -zxvf cdd ../bin 启动 hadoop sbin目录中 start-all.sh cd ./hive/bin ./hive show databases ; create database park ; 与SQL 的语句相同
hive 
mingyun 评论(0) 有383人浏览 2017-06-28 22:50

hive分页

由于Hive不能像MySQL那样，通过 limit begin end来分页，所以就需要有一种类似Oracle或者sqlserver那样的嵌套语句来分页。 不过hive提供了一个类似rownum的一个东西来支持分页，不过感觉效率不怎么高。方式如下 select * from (select row_number() over (order by create_time desc) as row ...
hive分页 
feizhang666 评论(0) 有4622人浏览 2017-06-13 15:42

hive小文件合并

    hive仓库表数据最终是存储在HDFS上，由于Hadoop的特性，对大文件的处理非常高效。而且大文件可以减少文件元数据信息，减轻NameNode的存储压力。但是在数据仓库中，越是上层的表汇总程度就越高，数据量也就越小，而且这些表通常会有日期分区，随着时间的推移，HDFS的文件数目就会逐步增加。 一、小文件带来的问题 HDFS的文件包好数据块和元信息，其中元信息包括位置、大小、分块等 ...
数据仓库hive小文件hive小文件合并 
student_lp 评论(0) 有2969人浏览 2017-05-21 22:15

Hive的JDBC接口

>>>在eclipse中使用JDBC连接Hive前需要开启Hive监听用户链接 hive/bin/ext$ hive --service hiveserver >>>配置eclipse环境 在pom.xml中添加hive包依赖 <properties> <project.build.sourceEncoding>UTF- ...
Hive 
孤狼18 评论(0) 有942人浏览 2017-05-20 14:32

大数据之Hadoop初识篇

Hadoop介绍 （直奔主题） 开源的数据分析平台，解决了大数据（大到一台计算机无法进行存储，一台计算机无法在要求的时间内进行处理）的可靠存储和处理。适合处理非结构化数据，包括HDFS，MapReduce基本组件与扩展组件Pig、Hive、Hbase、Sqoop、Flume、ZooKeeper和Spark等。 以下地址是详细介绍： http://www.toutiao.com/i641167 ...
HadoopPigHiveHbaseSpark 
yanshien 评论(0) 有418人浏览 2017-05-15 22:46

Hive工具类

public class HiveUtil { private static Logger logger = LoggerFactory.getLogger(HiveUtil.class); private static BasicDataSource basicDataSource = null; private static String HI ...
hadoophiveutil 
HogwartsRow 评论(0) 有1780人浏览 2017-04-26 15:25

关于Java程序向Hive导入数据的问题解决方法

解决方法： 1、使用Linux命令，如下： String tmpFile = "/tmp" + File.separator + TableUtil.TABLE_PREFIX_MAILING_MEMBER + "@" + mailListId + ".log"; String scp_command = String.form ...
hadoophivehdfsfile 
HogwartsRow 评论(0) 有1042人浏览 2017-04-26 15:20

Hive安装配置

Hive安装（apache-hive-0.13.1-bin.tar.gz）：  1.vi hive-env.sh      48 HADOOP_HOME=/usr/local/hadoop      51 export HIVE_CONF_DIR=/usr/local/hive/conf  2.在hdfs中添加目录 [root@master hadoop]#hdfs dfs -mkdi ...
Hive 
孤狼18 评论(0) 有736人浏览 2017-04-12 16:00

spark官网文档也愚人

在spark sql中使用hive的ddl语句时报出以下异常： ERROR Task: Failed with exception Unable to alter table. Invalid method name: 'alter_table_with_cascade'org.apache.hadoop.hive.ql.metadata.HiveException: Unable to al ...
sparkhive 
lb4java 评论(0) 有960人浏览 2017-04-01 00:34

原来MaxCompute还能这么玩系列（2）—— 利用HiveServer2 Proxy实现MaxCompute与Hive生态工具的互通

注：MaxCompute原名ODPS，是阿里云自研的大数据计算平台，文中出现的MaxCompute与ODPS都指代同一平台，不做区分 什么是Hive Hive是一款经典的hadoop技术栈的数 ...
ODPSHive 
iyulang 评论(0) 有14人浏览 2017-03-25 23:13

hadoop大数据平台手动搭建-hive

hive的安装。hive只是作为hadoop客户端，我安装在master节点上。 1. 安装元数据库。默认的数据库为Derby. 生产中我们通常用其他数据库。因Derby只支持同时一个用户访问Hive. 下面用mysql来存储元数据。 yum install mysql yum install mysql-server yum install mysql-devel    查看my ...
hadoophive 
feilong2483 评论(0) 有317人浏览 2017-03-22 21:51

[置顶] Hadoop与MongoDB整合（Hive篇）

      目录(?)[-] 背景 MongoDB简介摘自邹贵金的mongodb一书 Hadoop HA集群搭建与Hive安装 正式开始   1.背景 公司希望使用MongoDB作为后端业务数据库，使用
HadoopMongoDBHive 
stuming_zeng 评论(0) 有1174人浏览 2017-03-13 16:21

一道SQL面试题：oracle, 分类汇总, 标记相同id第一条有效

试题 表数据：table1： id     name    name_wt cert   cert_wt   -------------------------------------------- A12510 A2477 Ba3Ha11 Bb999C10     查询结果：table2 id     name    name_wt cert   cert_wt   -- ...
SQLHIVEOralce汇总 
Zhijie.Geng 评论(0) 有715人浏览 2017-02-14 12:26

大数据学习笔记(一)【原创】

新年，公司开始建设大数据中心项目，因此架构组需要对相关技术进行研究。原先对大数据相关技术已有耳闻，但是实际项目没用，很少去深入关注。这 ...
hadoopsparkmapreducehiveyarn 
zhenggm 评论(0) 有662人浏览 2017-02-10 17:26

hive中空值判断

  hive中空值判断基本分两种 （1）NULL 与 \N hive在底层数据中如何保存和标识NULL，是由 alter table name SET SERDEPROPERTIES('serialization.null.format' = '\N'); 参数控制的 比如： 1.设置 alter table name SET SERDEPROPERTIES('serializati ...
hive中空值判断hive 
liyonghui160com 评论(0) 有1705人浏览 2017-01-23 14:54

UDF 底层实现

用户自定义函数 继承UDF，重写evaluate方法即可  以 length 为例 例子如下 import org.apache.hadoop.hive.ql.exec.UDF; public class MD5Hash extends UDF { public String evaluate(String in) { // 请在此实现 } } hive 怎么调用呢 hive 把一切操作单元 看 ...
Hadoophiveudf 
zhaomengsen 评论(0) 有745人浏览 2017-01-04 00:03

hive 增删查改 实例

  pom <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifactId> <version>0.11.0</version> </depen ...
hive增删查改 
knight_black_bob 评论(0) 有784人浏览 2016-12-30 13:52

hive 异常 （Attempt to do update or delete on table terminal that does not use an ）

    hive 异常 （Attempt to do update or delete on table terminal that does not use an ）   hive > delete from terminal where 1=1 ;  出现以下    FAILED: SemanticException [Error 10297]: Attempt to d ...
hivedeleteexception异常 
knight_black_bob 评论(0) 有4660人浏览 2016-12-30 13:12

hive java 实例

      下载  jdo2-api-2.3-ec hive hdfs 所需jar  http://download.csdn.net/download/knight_black_bob/9725194   常见命令 hive 常见命令 create table test(uid string,name string)row format delimited fields ter ...
hivejavahdfs 
knight_black_bob 评论(0) 有1601人浏览 2016-12-30 10:40

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics