博客首页 → pig

最新文章列表

大数据系列5：Pig – 大数据分析平台

wget http://mirror.bit.edu.cn/apache/pig/pig-0.11.1/pig-0.11.1.tar.gz tar -xzvf pig-0.11.1.tar.gz sudo vi /etc/profile 增加： export PIG_HOME=/home/ysc/pig-0.11.1 exportPATH=$PATH:$PIG_HOME/bin so ...
pigpig latin大数据搜索引擎网络爬虫 
yangshangchuan 评论(0) 有6482人浏览 2013-10-04 02:06

NUTCH公开课：从搜索引擎到网络爬虫

Hadoop是大数据的核心技术之一，而Nutch集Hadoop之大成，是Hadoop的源头。学习Hadoop，没有数据怎么办？用Nutch抓！学了Hadoop的Map Reduce以及HDFS，没有实用案例怎么办？学习Nutch！Nutch的很多代码是用Map Reduce和HDFS写的，哪里还能找到比Nutch更好的Hadoop应用案例呢？   大数据这个术语最早的引用可追溯到Nutch。 ...
NutchLuceneHadoopTikaGoraSolrElasticSearchHBaseMapReducePigHiveLuke大数据搜索引擎网络爬虫 
yangshangchuan 评论(3) 有23192人浏览 2013-09-12 17:28

pig小操作

在pig中调用shell脚本： %declare CMD `./file_exist.sh`
pig 
jaent 评论(0) 有768人浏览 2013-04-27 18:45

hadoop pig vertica

  hadoop pig vertica是hadoop pig udf loader and storer的DB版，在github上开源，感谢感谢 本文就不贴代码了，附件里有源码，想了解的可以下载   先贴一张vertica的目录  其中verticaLoader，verticaStorer是vertica给出的接口类，是hadoop pig的loader和storer的UDF ...
hadooppigdbvertica 
blackproof 评论(0) 有3284人浏览 2013-02-06 10:50

hadoop pig入门总结

  在这里贴一个pig源码的分析，做pig很长时间没做笔记，不包含任何细节，以后有机会再说吧 http://blackproof.iteye.com/blog/1769219   hadoop pig入门总结 pig简介 pig数据类型 pig latin语法 pig udf自定义 pig derived衍生 推荐书籍 programming pig 推荐网站 http: ...
hadooppig 
blackproof 评论(5) 有31704人浏览 2013-02-05 17:15

Pig 调优实践经验总结（转载）

Pig 调优实践经验总结 张贵宾 guibin.beijing@gmail.com 2012-01-17   本文会不断更新，欢迎大家补充。 1. pig.maxCombinedSplitSize 和 pig.splitCombination 在实际使用PIG处理数据时，会经常要处理大批量的小文件。在这种情况下，如果不对Pig脚本进行任何特别设置，默认情况下很有可能会遇到类似这样 ...
Pighadoop 
JerryLead 评论(0) 有1858人浏览 2013-01-18 14:56

pig 源码分析

  先贴几张pig的部分类图：      pig logicalPlan转换为physicalPlan的类图       logicalPlan生成mapreducePlan类图   pig的主要流程 使用antlr生成语法树， 对照规则rule生成logicalPlan，每个logicalPlan聚合多个operator，operator就是pig的一个原子操作 再 ...
hadooppig源码 
blackproof 评论(0) 有3742人浏览 2013-01-14 10:13

pig

转自：http://www.hadoopor.com/thread-236-1-1.html Pig是yahoo捐献给apache的一个项目，它是SQL-like语言，是在MapReduce上构建的一种高级查询语言，把一些运算编译进M ...
hadooppig 
黎明lm 评论(0) 有1223人浏览 2012-11-16 19:28

Hadoop管理员的十个最佳实践

  接触Hadoop有两年的时间了，期间遇到很多的问题，既有经典的NameNode和JobTracker内存溢出故障，也有HDFS存储小文件问题，既有任务调度问题，也有MapReduce性能问题.遇到的这些问题有些是Hadoop自身的缺陷（短板），有些则是使用的不当。 在解决问题的过程中，有时需要翻源码，有时会向同事、网友请教，遇到复杂问题则会通过mail list向全球各地Hadoop使用者, ...
hadoopmapreducehivepig 
lalanicer 评论(0) 有763人浏览 2012-09-03 16:14

pig的一些基本函数的应用

1. 加载数据： records =load './Desktop/data.txt' using PigStorage as (year:int,temperature:int, quality:int); 2. 查看数据： dump records; 3. 根据 quality 字段对 records ...
pigpig基本函数pig入门 
zhangbaoming815 评论(0) 有4845人浏览 2012-07-17 19:01

pig的UDF函数的使用

<!-- @page { margin: 0.79in } P { margin-bottom: 0.08in } A:link { so-language: zxx } --> 在 pig 中使用 UDF 函数： 1 ，编写 UDF 函数：   imp ...
pig UDF函数pig用户自定义函数piguser define function 
zhangbaoming815 评论(0) 有2046人浏览 2012-07-14 21:40

Pig UDF(LOAD)示例代码分析

参考文档: Hadoop:The Definitive Guide3E Chapter11.Pig 代码具体地址: tomwhite-hadoop-book-32dae01\ch11\src\main\java\com\hadoopbook\pig 工具类   public class Range { private final ...
Pig 
zqhxuyuan 评论(0) 有2801人浏览 2012-07-13 17:47

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics