本月博客排行
-
第1名
龙儿筝 -
第2名
johnsmith9th -
第3名
wy_19921005 - zysnba
- sgqt
- lemonhandsome
年度博客排行
-
第1名
宏天软件 -
第2名
青否云后端云 -
第3名
龙儿筝 - gashero
- wallimn
- vipbooks
- benladeng5225
- wy_19921005
- fantaxy025025
- e_e
- zysnba
- ssydxa219
- sam123456gz
- javashop
- arpenker
- tanling8334
- kaizi1992
- xpenxpen
- wiseboyloves
- xiangjie88
- ranbuijj
- ganxueyun
- xyuma
- sichunli_030
- wangchen.ily
- jh108020
- lemonhandsome
- zxq_2017
- jbosscn
- Xeden
- luxurioust
- johnsmith9th
- lzyfn123
- zhanjia
- forestqqqq
- nychen2000
- ajinn
- wjianwei666
- hanbaohong
- daizj
- 喧嚣求静
- silverend
- mwhgJava
- kingwell.leng
- lchb139128
- lich0079
- kristy_yy
- jveqi
- java-007
- sunj
最新文章列表
Hive内置数据类型
一、概述
Hive的内置数据类型可以分为两大类:
基础数据类型
复杂数据类型
二、基本数据类型包括
数据类型
所占字节
开始支持版本
TINYINT
1byte,-128 ~ 127
SMALLINT
2byte,-32,768 ~ 32,767
INT
4byte,-2,147,483,648 ~ 2,147,483,647
...
开源大数据索引项目hive-solr
github地址:https://github.com/qindongliang/hive-solr
欢迎大家fork和使用
关于这个项目的介绍,请参考散仙前面的文章:
http://qindongliang.iteye.com/blog/2283862
最新更新:
(1)添加了对solrcloud集群的支持
(2)修复了在反序列时对于hive中null列和空值的处理bug
(3)优化了在构建 ...
hive show databases 出错
hive 进入客户段后,能够创建database,但是进行show databases;时出错:
Failed with exception java.io.IOException:java.io.IOException: Cannot create an instance of InputFormat class org.apache.hadoop.mapred.TextInputFormat ...
hive 启动报错汇总及修复办法
1.A read-only user or a user in a read-only database is not permitted to disable read-only mode on a connection.
默认启动情况下metastore_db在hive的bin目录下.
cd /var/lib/hive/metastore/metastore_db
ch ...
hive-数据倾斜解决详解
hive在跑数据时经常会出现数据倾斜的情况,使的作业经常reduce完成在99%后一直卡住,最后的1%花了几个小时都没跑完,这种情况就很可能是数据倾斜的原因,解决方法要根据具体情况来选择具体的方案
1、join的key值发生倾斜,key值包含很多空值或是异常值
这种情况可以对异常值赋一个随机值来分散key
如:
select userid,name
from user_info ...
Spark SQL on hive配置和实战
spark sql 官网:http://spark.apache.org/docs/latest/sql-programming-guide.html#starting-point-sqlcontext
首先要配置好hive,保存元数据到mysql中,参考:http://kevin12.iteye.com/blog ...
set hive.groupby.skewindata与数据倾斜
hive和其它关系数据库一样,支持count(distinct)操作,但是对于大数据量中,如果出现数据倾斜时,会使得性能非常差,解决办法为设置数据负载均衡,其设置方法为设置hive.groupby.skewindata参数
hive (default)> set hive.groupby.skewindata;
hive.groupby.skewindata=false
默 ...
Hive分析搜索引擎的数据(搜狗实验室数据)
搜狗实验室:http://www.sogou.com/labs/resources.html
用户查询日志:http://www.sogou.com/labs/dl/q.html
将上面三种数据全部下载下来,解压后拷贝到虚拟机的/usr/local/hive/hivedata目录中;
注意:如果数据乱码的情况下,请先转成utf-8的格式,方便后面的练习;
数据格式为
访问时间\t用户ID ...
hive shell 导入数据
数据
10046,108100000036-IOS,2.4,appStore,34C11930-796E-4F79-892D-D648052C06BF1457624722526,20160310235139299,20160310,376774,f2aa9902e665afe1feceb9502d7bec0ca5acc6fddfd69d1c7eaf5a51503afd78,iPhone,app ...
hive:[Fatal Error] Operator FS_14 (id=14): Number of dynamic partitions exceeded
向动态分区时,报错:hive:[Fatal Error] Operator FS_14 (id=14): Number of dynamic partitions exceeded hive.exec.max.dynamic.partitions.pernode.
其原因是动态分区数太多,需要修改hive.exec.max.dynamic.partitions.pernode参数
查看最 ...