博客首页 → hive

最新文章列表

sentry服务后，几个权限问题

以账户bi为例 问题一：账户bi beeline ldap后，对于外联表需要外联/user/bi目录下的数据。 解决： 根据sentry文档，需要给/user/bi授权uri ALL权限。 GRANT ALL ON URI 'hdfs://172.20.0.71:8020/user/bi' TO ROLE user_bi_all_role;解决之 问题二：账户bi运行mapreduce需要读取/ ...
sentryhiveldap 
lookqlp 评论(0) 有8987人浏览 2015-03-10 16:08

hadoop hive hbase 入门学习 (二)

  //////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////// hadoop 自学系列                hadoop hiv ...
hadoophivehbase大数据nosql 
knight_black_bob 评论(0) 有1946人浏览 2015-03-08 13:25

集群环境下Hadoop2.5.2+Zookeeper3.4.6+Hbase0.98+Hive1.0.0安装目录总汇

《集群环境下Hadoop2.5.2+Zookeeper3.4.6+Hbase0.98+Hive1.0.0安装目录总汇》   Hadoop2.5.2集群安装 Zookeeper3.4.6集群安装 Hbase0.98集群安装 Hive1.0.0安装
HiveZookeeperHadoop 
gao_xianglong 评论(0) 有1913人浏览 2015-03-06 17:37

Hive1.0.0安装

《Hive1.0.0安装》   1、Hive的安装 用命令“tar -zxvf”命令将gz压缩文件解压。笔者Hive的安装目录为：“/home/hadoop”，解压后的Hive目录为“/home/hadoop/apache-hive-1.0.0-bin。仅需安装在Master机器上。   2、配置Hive的环境变量 成功安装Hive后，接下来要做的事情就是配置Hive的环境变量，并通 ...
Hive 
gao_xianglong 评论(0) 有2375人浏览 2015-03-06 17:33

hadoop hive hbase 入门学习 (一)

  ////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////                                        ...
hadoophivehbase大数据nosql 
knight_black_bob 评论(0) 有2493人浏览 2015-02-15 14:26

hive集成LDAP

cloudera manager hive- sevice wide - advanced-Hive Service Advanced Configuration Snippet (Safety Valve) for hive-site.xml <property>   <name>hive.server2.authentication</name>   & ...
hiveldap 
lookqlp 评论(0) 有9755人浏览 2015-02-13 10:09

【原创】应该在什么时候使用Hadoop？

IT界从来不缺少浮躁，现在什么公司都说大数据，好像不搞这个显得自己很落后似的。但是什么是大数据？多大的数据才是大数据？用什么工具去解决多大的数据？ 下面这篇文章的观点很好，我比较认同。其中它提到，超过5T的数据建议使用hadoop。其实从hadoop的计算架构来看，这也是合理的，因为经过测试，小而多的数据文件进行计算，效率非常差。大而少的文件嫩更充分利用hadoop计算架构的优势。   最 ...
javahadoophivehbasespark 
leobasic 评论(0) 有965人浏览 2015-02-12 09:55

HIVE 窗口及分析函数

窗口函数应用场景： （1）用于分区排序 （2）动态Group By （3）Top N （4）累计计算 （5）层次查询 一、分析函数 用于等级、百分点、n分片等。 函数             说明 RANK()             返回数据项在分组中的排名，排名相等会在名次中留下空位 DENSE_RANK()     返回数据项在分组中的排名，排名相等会在名次中不会留下空位 NTILE() ...
hive窗口函数分析函数 
daizj 评论(0) 有4134人浏览 2015-02-06 19:23

Hive语句执行优化－简化UDF执行过程

    Hive会将执行的SQL语句翻译成对应MapReduce任务，当SQL语句比较简单时，性能还是可能处于可接受的范围。但是如果涉及到非常复杂的业务逻辑， ...
hiveudf 
brandNewUser 评论(0) 有2141人浏览 2015-01-30 21:28

数据 140g, 按照字段time 降序排列 选出最大的前50个

数据 140g, 按照字段time 降序排列 选出最大的前50个。 使用 一般方法 select * from table order by time desc limit 50.  执行了1小时6分钟完全算出。 任务数1个  map数  1783 reduce 1 而 select * from (select * from table distribute by time sort b ...
hive 
wspiderw 评论(0) 有968人浏览 2015-01-26 14:00

hive表分区字段需要注意的问题

          近期项目中使用hive做数据统计，创建了一些hive表，在这个过程中，涉及到了设计分区的问题，简单做个总结，以新增表为例：       V1版本： CREATE TABLE IF NOT EXISTS stat_install( uuid string, ver int, version_code ...
hive分区 
功夫小当家 评论(0) 有11718人浏览 2015-01-22 18:25

hql 修改表字段类型

stat_install 表的agent字段原来是int型，现在想改成string类型，使用下面命令：    alter table stat_install change agent agent string;  
hivehql修改字段类型 
功夫小当家 评论(0) 有8802人浏览 2015-01-13 17:19

hql 查找非group by字段

1.取得非group by 字段  select COLLECT_LIST(event) , uuid from stat_event group by uuid;   2.得到事件流（自定义事件处理） select cid, uuid, account, concat_ws(',', COLLECT_LIST(cast (event AS string) ) ), concat_ws( ...
hqlhivegroup by 
功夫小当家 评论(0) 有2389人浏览 2015-01-13 17:16

hive默认分隔符引起的日志分割问题

Hive中的外部表 对于Hive中的外部表来说，因为表是外部的，Hive认为其并不拥有这份数据，删除该表并不会真正删除其中的数据，其中的表描述元信息 ...
hive外部表 
brandNewUser 评论(0) 有7992人浏览 2015-01-10 21:09

hive常见操作语句--创建表语句

一：hive建表语句 create table page_view ( page_id bigint comment '页面ID', page_name string comment '页面名称', page_url string comment '页面URL' ) comment '页面视图' partitioned by (ds string comment '当前时间，用于 ...
hive常见操作 
bestchenwu 评论(1) 有56937人浏览 2015-01-02 16:13

[转] hive-hwi-0.13.1图形界面配置

//hive-hwi-0.13.1图形界面配置 # by coco # 2014-07-29 安装好hive-hwi-0.13.1,cli端用着也挺爽的，想尝试一下hwi界面。于是就配置如下： 其实手动配置过hive-hwi-0.13.1 ...
hivehwi 
107x 评论(0) 有830人浏览 2014-12-15 17:28

[转] Hive-0.12.0的Web接口HWI安装、配置、改造及使用

使用Hive的HWI接口，可以通过在Web页面上提交HQL查询操作，并浏览查询结果数据。默认情况下，HWI只支持浏览结果数据，不能够下 载查询结果文件（当然，HWI可能也是考虑通过Web下载大量的结果数据，对服务器造成压力，或者处于安全方面的考虑）。我们对HWI进行了简单的改造， 改造内容主要是增加了一个内置的文件服务器，可以通过页面进行查询，然后下载结果文件。 HWI安装配置 首先，要保证 ...
hivehwi 
107x 评论(0) 有1172人浏览 2014-12-15 17:25

执行hive时 mapreduce报错

hive> select count(*) from testkkk;                                                                             Total jobs = 1 Launching Job 1 out of 1 Number of reduce tasks determined at compile ...
hivemapreducemrhadoop 
xiyukongjian 评论(0) 有2151人浏览 2014-12-13 12:55

hive row_number分组排序top

自从hive 0.11.0 开始，加入了类似orcle的分析函数，很强大，可以查询到分组排序top值 使用方法跟oracle没有差别   贴个小例子 查询的是同一个操作下pv前十的用户 select * ,row_number() OVER(PARTITION BY t3.action ORDER BY pv desc) AS flag from ( select acti ...
hiverankrow_number 
blackproof 评论(0) 有15109人浏览 2014-12-08 17:59

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics