ruishen
- 浏览: 52043 次
- 性别:
- 来自: 北京
-
最新评论
文章列表
指定行分割符和列分隔符
由于默认的是能指定列分隔符，但是不可以指定行分隔符，所以这个时候，我们存在hdfs上的数据有的可能是\001是列分隔符，和\002是分隔符这个时候就得重写一下inputformat来使用了。(当然还有其他的方式，比如书上说serDe 来做)
package com.hcr.hadoop.hive;
import java.io.IOException;
import java.io.UnsupportedEncodingException;
import org.apache.hadoop.io.LongWritable;
import org.apa ...
- 2013-12-26 10:34
- 浏览 5934
- 评论(0)
自定义函数
在hive中，有时候一些内置的函数，和普通的查询操作已经满足不了我们要查询的要求，这时候可以自己写一些自定义函数来处理。自定义函数（user defined function =UDF）
由于hive本身是用java语言开发，所以udf必须用java来写才可以。
Hive中有三种UDF
1.普通udf（UDF）
操作单个数据行，且产生一个数据作为输出。例如（数学函数，字符串函数）
2.聚合udf （UDAF）
接受多个数据行，并产生一个数据行作为输出。例如（COUNT，MAX函数等）
3.表生成UDF(UDTF)
接受一个数据行，然后返回产生多个数据行（一个表作为输 ...
- 2013-12-26 10:29
- 浏览 530
- 评论(0)
排序和聚集
正常在数据少的情况下
直接使用order by来操作即可，因为是全排序所以要在一个reduce中完成
from records
select year,temperature
order by year asc,temperature desc;
如果数据量大，并且不需要全排序，只是需要每个reduce中的数据排序即可。如下根据year来指定（distribute by）到相同的reduce中，然后根据sort by来排序
from records
select year,temperature
distribute by year
sort ...
- 2013-12-26 10:24
- 浏览 698
- 评论(0)
Hive服务
Hive外壳环境是可以使用hive命令来运行的一项服务。可以在运行时使用-
service选项指明要使用哪种服务。键入hive-servicehelp可以获得可用服务
列表。下面介绍最有用的一些服务。
cli
Hive的命令行接口(外壳环境)。这是默认的服务。
hiveserver
让Hive以提供Trift服务的服务器形式运行，允许用不同语言编写的客户端进
行访问。使用Thrift, JDBC和ODBC连接器的客户端需要运行Hive服务器来
和Hive进行通信。通过设置HIVE_ PORT环境变量来指明服务器所监听的端口
号(默认为10 000). ...
- 2013-12-26 10:17
- 浏览 600
- 评论(0)
本来在虚拟机上安装的centos6.0(Final)版本系统，安装的后，由于每次登陆用crt 登，但默认开机不在虚拟机上登陆，crt连不上（网卡没启动）。
接下来 就修改一下
查看一下使用的网卡 。[hcr@slave2 ~]$ ifconfig
eth1 Link encap:Ethernet HWaddr 00:0C:29:8C:BF:DF
inet addr:192.168.1.13 Bcast:192.168.1.255 Mask:255.255.255.0
inet6 addr: fe80::20c:29ff:fe8c ...
- 2013-12-22 12:27
- 浏览 699
- 评论(0)
可以从Apache官方网站自带的例子中查找，位置\velocity-tools-1.4-src\examples\showcase。
Apache官方网站自带的例子有下面一些：
使用Velocity Tools的时候，一定要在toolbox.xml中指定，然后在应用的web.xml中配置。
这里，关于jar包的引用，很可能出现一种Velocity运行时异常，例如：
信息: Velocity [warn] org.apache.velocity.runtime.exception.ReferenceException: reference : template = /templates/ ...
- 2013-12-06 11:02
- 浏览 480
- 评论(0)
org.apache.hadoop.ipc.RemoteException: java.io.IOException: java.lang.ClassCastException: org.apache.hadoop.hdfs.server.namenode.INodeFileUnderConstruction cannot be cast to org.apache.hadoop.hdfs.server.namenode.INodeDirectoryat org.apache.hadoop.hdfs.server.namenode.FSDirectory.addChild(FSDirectory ...
- 2013-12-04 17:30
- 浏览 891
- 评论(0)
整理文档下载地址：http://download.csdn.net/detail/ruishenh/6638309
1.虚拟机安装系统（个人安装系统是centos 6.x final版)
1.在虚拟机安装了三个系统（centos 6.x final版的）目前两个都是安装的，一个是在文件复制的。
2. 安装完系统后开始安装rz命令包（由于系统在window系统用crt操作linux系统了，所以依赖上了rz命令）
联网情况下：
yum install lrzsz
接下来输入两个yes
等到出现complete的英文就是ok了。
3.卸载原装openJDK
网上查的资料就是这 ...
- 2013-11-30 11:55
- 浏览 293
- 评论(0)
首先用root用户进入
然后
执行visudo
在文件中增加一行 对hcr用户的赋权限 ， （加上nopasswd的时候是可以不用输入密码，不建议，对删除更改操作的时候可能会有风险）
hcr ALL=(ALL) ALL
或者
hcr ALL=(ALL) NOPASSWD:ALL
我本人是测试环境无所谓了。
修改完成后 ZZ退出或者wq就ok了
当然也可以用vim去编辑，不过保存的时候得强制保存 （wq！）。而且这样不会预检查语法错误。visudo就会检查。
- 2013-11-25 11:47
- 浏览 216
- 评论(0)
editplus删除空行快捷键 alt+s+e 或者 ctrl+H 出来替换窗口
然后 替换内容输入 ^[ \t]*\n 选中正则表达式选项
点击 全部替换 就ok了。
或者更简单的一种
- 2013-11-22 11:10
- 浏览 458
- 评论(0)
文件下载地址 ：http://download.csdn.net/detail/ruishenh/6561061
项目中需要用到精确到秒的日期控件，到网上搜了一下，发现有一个JQuery控件可以实现该功能---TimerPicker。但是官网上没有提供该控件的完整Demo，而且没有提供汉化包，所以自己汉化了一下，以供需要的朋友参考。
效果图如下：图一
关键代码：
$(".ui_timepicker").datetimepicker({
showSecond:true,
- 2013-11-16 12:08
- 浏览 536
- 评论(0)
mysql MySQL Workbench update 语句不能加条件
看资料说是 MySQL Workbench的安全设置
Error Code: 1175. You are using safe update mode and you tried to update a table without a WHERE that uses a KEY column To disable safe mode, toggle the option in Preferences -> SQL Editor -> Query Editor and reconnect.
当然有的说在 ...
- 2013-11-14 10:30
- 浏览 476
- 评论(0)
Failing Oozie Launcher, Output data size [2,070] exceeds maximum [2,048]
在读取了属性信息放到oozie节点中的时候因为数据太大了。
File file = new File(System.getProperty("oozie.action.output.properties"));
Properties props = new Properties();for (String key : prop.keySet()) {//....props.setProperty(key, value);} ...
- 2013-11-13 11:09
- 浏览 813
- 评论(0)
java.lang.ClassCastException: java.lang.Integer cannot be cast to java.lang.Longat org.springframework.data.mongodb.core.mapreduce.MapReduceResults.parseTiming(MapReduceResults.java:80)at org.springframework.data.mongodb.core.mapreduce.MapReduceResults.<init>(MapReduceResults.java:49)at org.spr ...
- 2013-10-23 12:13
- 浏览 1063
- 评论(0)
Oozie 安装笔记 版本 3.0.0
1.下载 oozie 3.0.0版本文件。
http://oozie.apache.org/ 或者
oozie下载文件：http://download.csdn.net/detail/ruishenh/6561255
ext-2.2.zip文件：http://download.csdn.net/detail/ruishenh/6562161
2.安装 & 配置
bin/oozie-setup.sh -hadoop 0.20.2/usr/local/hadoop/ -extjs ext-2.2.zip
A.修改 hado ...
- 2013-10-19 12:46
- 浏览 492
- 评论(0)