`
臻是二哥
  • 浏览: 188188 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
博客专栏
Group-logo
Java技术分享
浏览量:0
社区版块
存档分类
最新评论

Pig安装

 
阅读更多

Pig有两种使用模式:本地模式和MapReduce模式。

Pig进行实际工作的模式是MapReduce模式,使用Pig的MapReduce模式首先需要已经安装好的hadoop集群,关于hadoop集群的搭建在之前已经讲过。

下面就在之前搭建的集群的基础上,安装pig。安装过程如下:

1 下载pig-0.9.0.tar.gz,复制到hadoop集群的master节点的根目录下(pig相当于hadoop的一个客户端,他通过master节点就可以操作集群,因此安装在master节点上即可),使用

tar -zxvf pig-0.9.0.tar.gz解压,然后重命名为pig.操作完成后,目录如下:



 
 

2 打开~/.bashrc



 
 

3 在该文件尾部添加如下内容:



 
 

其中PIG_INSTALL为pig文件所在目录,PIG_HADOOP_VERSION为Hadoop的版本(这里使用在前面已经安装好的hadoop.0.20.2),对于PATH变量,需要添加红线部分的内容$PIG_INSTALL/bin;

 

4 将HADOOP_HOME/conf文件夹复制到PIG_INSTALL/conf文件夹内:



 
 

复制完毕以后PIG_INSTALL/conf文件夹的目录结构如图:



 
 

5 打开~/.bashrc



 
 

3 在最后添加

export PIG_CLASSPATH=$PIG_INSTALL/conf/conf



 
 

4 重启XShell客户端(这是由~/.bashrc文件的性质决定)

5进入pig所在节点,输入pig,出现以下内容说明安装成功



 
 

默认情况下,pig把日志文件保存在当前目录下,可以通过修改配置文件来更改日志文件的存放目录。

修改方式如下:在PIG_INSTALL/文件夹中新建logs文件夹:



 
 

修改PIG_INSTALL/conf/pig.properties文件中的pig.logfile属性值,如下即可:

Pig.logfile=/home/xuyizhen/pig/logs

  • 大小: 13.6 KB
  • 大小: 2.3 KB
  • 大小: 14.4 KB
  • 大小: 3.8 KB
  • 大小: 3.9 KB
  • 大小: 2.3 KB
  • 大小: 3.6 KB
  • 大小: 32.2 KB
  • 大小: 4.7 KB
0
0
分享到:
评论

相关推荐

    完整版大数据云计算课程 Hadoop数据分析平台系列课程 Hadoop 08 Pig安装与Pig Latin语言,应用案例 共2

    本课程聚焦于“Hadoop 08 Pig安装与Pig Latin语言”,旨在深入理解Pig的工作原理及其在实际应用中的价值。 Pig拉丁语(Pig Latin)是Pig的编程语言,它允许用户以一种声明性的方式编写数据处理逻辑,而非传统的低级...

    完整版大数据云计算课程 Hadoop数据分析平台系列课程 Hadoop 08 Pig安装与Latin语言 共26页.pptx

    Pig的安装包括下载安装包、设置环境变量、验证安装等步骤,同时,Pig提供了多种工作模式,如本地模式和MapReduce模式,以适应不同的使用场景。 在【Pig的运行和操作】部分,课程介绍了Pig的运行方法,包括通过脚本...

    pig-0.9.1.tar

    五、测试Pig安装 完成上述步骤后,重新加载环境变量(`source ~/.bashrc`),然后在命令行输入`pig`,如果成功,会启动Pig的交互式Shell。 六、使用Pig Latin进行数据处理 Pig Latin是Pig的编程语言,用户可以通过...

    大数据技术基础实验报告-pig的安装配置与应用.doc

    【大数据技术基础实验报告——Pig的安装配置与应用】 Pig是Apache Hadoop项目中的一个数据处理工具,它提供了一种高级的编程语言,称为Pig Latin,用于编写复杂的数据处理作业。在这个实验报告中,我们将深入理解...

    maven,oozie,pig LINUX 环境搭建.docx

    3. **验证Pig安装** 使用`pig -v`命令来确认Pig的版本信息。如果一切正常,将显示Pig的版本号。 #### Oozie的安装与配置 1. **准备编译环境** 在编译Oozie之前,需要先准备好编译环境。这包括Java JDK的安装,...

    pig的mapreduce模式的安装及配置.docx

    **Pig MapReduce模式的安装与配置** Apache Pig 是一个用于大数据分析的平台,它提供了一种高级语言,称为Pig Latin,使得用户能够编写处理大量数据的复杂脚本,而无需关注底层的MapReduce实现。在Hadoop生态系统中...

    炼数成金 Hadoop 视频教程

    29.Pig安装与Pig Latin语言,应用案例1 30.Pig安装与Pig Latin语言,应用案例2 31.Pig安装与Pig Latin语言,应用案例3 32.Pig安装与Pig Latin语言,应用案例4 33.hadoop高级介绍 34.hadoop高级介绍 35.hadoop高级...

    big data demo

    文件中提供的Pig安装指南指向了Apache官方网站的设置页面。安装Pig首先需要下载Pig的压缩包,然后解压,并将Pig的安装路径添加到系统的环境变量PATH中。这一操作确保在任何目录下都可以通过命令行直接调用Pig命令。...

    云计算大数据全套

    5.Pig安装与Pig Latin语言,应用案例 6.Hive体系架构安装与HiveQL应用案例 7.HBase体系架构与安装 8.HBase数据分析与建模,实战案例剖析 9.Map-Reduce数据分析,Hadoop流,应用案例 10.Map-Reduce数据分析之一,API...

    pig-0.16.0.tar安装包

    【标题】"pig-0.16.0.tar安装包" 涉及的主要知识点是Apache Pig的安装和使用,这是一个基于Hadoop的数据流编程平台,用于处理大规模数据集。Pig Latin是Pig的编程语言,它允许用户编写复杂的数据处理任务,而无需...

    Hadoop云计算平台搭建最详细过程(共22页).docx

    10. Pig安装:需要下载和安装Pig版本为pig-0.12.0,并配置相应的环境变量。 11. Hive安装:需要下载和安装Hive版本为hive-0.12.0,并配置相应的环境变量。 12. Ganglia安装:需要下载和安装Ganglia,并配置相应的...

    pig-0.9.2.tar.gz下载

    下载并解压"Pig-0.9.2.tar.gz"后,开发者可以在本地或Hadoop集群上安装和运行Pig。这通常包括配置环境变量,设置Hadoop路径,然后通过Pig命令行或者脚本执行Pig Latin脚本。 5. **Pig的应用场景**: - 数据清洗:...

    pig-0.15.0

    用户在下载后,可以使用 `tar` 命令解压并安装,以在本地环境中使用 Apache Pig 0.15.0。 标签“pig-0.15.0”是该资源的标识符,方便用户搜索和区分不同版本的 Pig。在实际应用中,选择合适的版本至关重要,因为...

    PIGO搜索 v2.3

    PIGO是一个采集引擎,开始的时候是按照采集各大搜索引擎而设计的。随着需求的增加,现在PIGO不单单能采集搜索引擎,而且能聚合结果,甚至,加载不同的核心,PIGO就变成不同的网站。... 安装步骤1、把PIGO文件夹复制粘

    pig-0.17.0.tar的安装包,

    《Apache Pig 0.17.0 安装与配置指南》 Apache Pig 是一个用于大数据分析的平台,它提供了一种高级语言 Pig Latin 来处理大规模数据集。Pig-0.17.0 是该平台的一个稳定版本,包含了多项优化和改进,适用于Hadoop...

    pig-0.9.2.tar.gz

    如果需要,也可以使用`make`和`make install`来编译和安装Pig到系统路径。 4. **设置环境变量**:为了使Pig在命令行中可用,可能需要将它的bin目录添加到PATH环境变量中,例如,添加`export PATH=$PATH:/path/to/...

    Pig-Toolbox_v1.0.7.6

    Pig-Toolbox_v1.0.7.6 谷歌浏览器插件,CRX可解压,用开发者模式安装

    Programming Pig(pig编程).pdf

    对于想要开始使用Pig的读者,书中的内容会从下载Pig包开始讲起,包括从Apache、Cloudera、Maven仓库等不同途径获取Pig的方法,以及安装和运行Pig的基本步骤。这本书还可能涉及如何设置和配置Pig环境、使用Pig Latin...

Global site tag (gtag.js) - Google Analytics