ruishen
- 浏览: 52036 次
- 性别:
- 来自: 北京
-
最新评论
文章列表
基础运算
加减乘除（+ 、-、*、/、bincond）
查看一下简单的文本内容
grunt> cat A;
0,1,2
1,3,4
grunt> a = load 'A' usingPigStorage(',')as(c1:int,c2:double,c3:float);
grunt> b = foreach a generate $0+$1 asc1_c2;
grunt>dump b;
(1.0)
(4.0)
grunt> c = foreach b generate c1_c2-1;
2013-09-26 16:11:13,124 [ma ...
- 2013-09-26 20:16
- 浏览 441
- 评论(0)
由于我们的hdfs上抽取的数据是存储行分隔符和列分割符不是用的\n和\t。所以就想能看看是否能指定行分隔符，查了半天没查到。。可能是查找能力有限，呵呵，后来下载下来pig-0.11.0的源码看了一下PigStorage的类，输入inputFormat类指定了就是PigTextInputFormat，这个类直接集成了org.apache.hadoop.mapreduce.lib.input.TextInputFormat，mapreduce的提供的textinputformat类，行分割符号如下，
String delimiter = context.getConfiguration().get ...
- 2013-09-26 14:16
- 浏览 514
- 评论(0)
高级一些的编辑器，都会包含宏功能，vim当然不能缺少了，在vim中使用宏是非常方便的：
:qx 开始记录宏，并将结果存入寄存器xq 退出记录模式@x 播放记录在x寄存器中的宏命令稍微解释一下，当在normal模式下输入:qx后，你对文本的所有编辑动作将会被记录下来，再次输入q即退出了记录模
- 2013-09-25 18:11
- 浏览 387
- 评论(0)
个人目前理解pig是对mapreduce的一种封装扩展，使写mapreduce简单化，可维护性更高一点，可透明性更清晰一点，操作数据更简单一点吧。
1.Pig中的模式
pig中模式就是说pig数据的数据格式是什么样的。
比如当执行
grunt> describe a;
a: {c1: int,c2:int,c3: int}
这个时候就证明知道数据是什么模式的，
grunt> describe b;
Schema for bunknown.
这个时候的模式就是未知的，
在这儿我想就应该可以看到有模式和无模式的数据提示了。
Pig的模式是非常宽松的，就像它的 ...
- 2013-09-24 18:14
- 浏览 512
- 评论(0)
Pig 的安装
1.下载文件
在官方上下载下来
http://pig.apache.org/releases.html#Download
我个人下载的 版本是pig-0.11.0.tar.gz
2.安装
上传到服务器指定位置
由于我个人是新创建了一个pig用户来创建的，所以上传到了
/home/pig/这个目录
（用户创建 useradd pig -g root）
接下来解压即可
tar-zxvf pig-0.11.0.tar.gz
解压完成后
drwxr-xr-x 15 pig pig 4096 09-22 13:52pig-0.11.0
有了pig-0.11.0 ...
- 2013-09-24 13:01
- 浏览 597
- 评论(0)