Pig有两种使用模式:本地模式和MapReduce模式。
Pig进行实际工作的模式是MapReduce模式,使用Pig的MapReduce模式首先需要已经安装好的hadoop集群,关于hadoop集群的搭建在之前已经讲过。
下面就在之前搭建的集群的基础上,安装pig。安装过程如下:
1 下载pig-0.9.0.tar.gz,复制到hadoop集群的master节点的根目录下(pig相当于hadoop的一个客户端,他通过master节点就可以操作集群,因此安装在master节点上即可),使用
tar -zxvf pig-0.9.0.tar.gz解压,然后重命名为pig.操作完成后,目录如下:
2 打开~/.bashrc
3 在该文件尾部添加如下内容:
其中PIG_INSTALL为pig文件所在目录,PIG_HADOOP_VERSION为Hadoop的版本(这里使用在前面已经安装好的hadoop.0.20.2),对于PATH变量,需要添加红线部分的内容$PIG_INSTALL/bin;
4 将HADOOP_HOME/conf文件夹复制到PIG_INSTALL/conf文件夹内:
复制完毕以后PIG_INSTALL/conf文件夹的目录结构如图:
5 打开~/.bashrc
3 在最后添加
export PIG_CLASSPATH=$PIG_INSTALL/conf/conf
4 重启XShell客户端(这是由~/.bashrc文件的性质决定)
5进入pig所在节点,输入pig,出现以下内容说明安装成功
默认情况下,pig把日志文件保存在当前目录下,可以通过修改配置文件来更改日志文件的存放目录。
修改方式如下:在PIG_INSTALL/文件夹中新建logs文件夹:
修改PIG_INSTALL/conf/pig.properties文件中的pig.logfile属性值,如下即可:
Pig.logfile=/home/xuyizhen/pig/logs
相关推荐
本课程聚焦于“Hadoop 08 Pig安装与Pig Latin语言”,旨在深入理解Pig的工作原理及其在实际应用中的价值。 Pig拉丁语(Pig Latin)是Pig的编程语言,它允许用户以一种声明性的方式编写数据处理逻辑,而非传统的低级...
Pig的安装包括下载安装包、设置环境变量、验证安装等步骤,同时,Pig提供了多种工作模式,如本地模式和MapReduce模式,以适应不同的使用场景。 在【Pig的运行和操作】部分,课程介绍了Pig的运行方法,包括通过脚本...
五、测试Pig安装 完成上述步骤后,重新加载环境变量(`source ~/.bashrc`),然后在命令行输入`pig`,如果成功,会启动Pig的交互式Shell。 六、使用Pig Latin进行数据处理 Pig Latin是Pig的编程语言,用户可以通过...
【大数据技术基础实验报告——Pig的安装配置与应用】 Pig是Apache Hadoop项目中的一个数据处理工具,它提供了一种高级的编程语言,称为Pig Latin,用于编写复杂的数据处理作业。在这个实验报告中,我们将深入理解...
3. **验证Pig安装** 使用`pig -v`命令来确认Pig的版本信息。如果一切正常,将显示Pig的版本号。 #### Oozie的安装与配置 1. **准备编译环境** 在编译Oozie之前,需要先准备好编译环境。这包括Java JDK的安装,...
**Pig MapReduce模式的安装与配置** Apache Pig 是一个用于大数据分析的平台,它提供了一种高级语言,称为Pig Latin,使得用户能够编写处理大量数据的复杂脚本,而无需关注底层的MapReduce实现。在Hadoop生态系统中...
29.Pig安装与Pig Latin语言,应用案例1 30.Pig安装与Pig Latin语言,应用案例2 31.Pig安装与Pig Latin语言,应用案例3 32.Pig安装与Pig Latin语言,应用案例4 33.hadoop高级介绍 34.hadoop高级介绍 35.hadoop高级...
文件中提供的Pig安装指南指向了Apache官方网站的设置页面。安装Pig首先需要下载Pig的压缩包,然后解压,并将Pig的安装路径添加到系统的环境变量PATH中。这一操作确保在任何目录下都可以通过命令行直接调用Pig命令。...
5.Pig安装与Pig Latin语言,应用案例 6.Hive体系架构安装与HiveQL应用案例 7.HBase体系架构与安装 8.HBase数据分析与建模,实战案例剖析 9.Map-Reduce数据分析,Hadoop流,应用案例 10.Map-Reduce数据分析之一,API...
【标题】"pig-0.16.0.tar安装包" 涉及的主要知识点是Apache Pig的安装和使用,这是一个基于Hadoop的数据流编程平台,用于处理大规模数据集。Pig Latin是Pig的编程语言,它允许用户编写复杂的数据处理任务,而无需...
10. Pig安装:需要下载和安装Pig版本为pig-0.12.0,并配置相应的环境变量。 11. Hive安装:需要下载和安装Hive版本为hive-0.12.0,并配置相应的环境变量。 12. Ganglia安装:需要下载和安装Ganglia,并配置相应的...
下载并解压"Pig-0.9.2.tar.gz"后,开发者可以在本地或Hadoop集群上安装和运行Pig。这通常包括配置环境变量,设置Hadoop路径,然后通过Pig命令行或者脚本执行Pig Latin脚本。 5. **Pig的应用场景**: - 数据清洗:...
用户在下载后,可以使用 `tar` 命令解压并安装,以在本地环境中使用 Apache Pig 0.15.0。 标签“pig-0.15.0”是该资源的标识符,方便用户搜索和区分不同版本的 Pig。在实际应用中,选择合适的版本至关重要,因为...
PIGO是一个采集引擎,开始的时候是按照采集各大搜索引擎而设计的。随着需求的增加,现在PIGO不单单能采集搜索引擎,而且能聚合结果,甚至,加载不同的核心,PIGO就变成不同的网站。... 安装步骤1、把PIGO文件夹复制粘
《Apache Pig 0.17.0 安装与配置指南》 Apache Pig 是一个用于大数据分析的平台,它提供了一种高级语言 Pig Latin 来处理大规模数据集。Pig-0.17.0 是该平台的一个稳定版本,包含了多项优化和改进,适用于Hadoop...
如果需要,也可以使用`make`和`make install`来编译和安装Pig到系统路径。 4. **设置环境变量**:为了使Pig在命令行中可用,可能需要将它的bin目录添加到PATH环境变量中,例如,添加`export PATH=$PATH:/path/to/...
Pig-Toolbox_v1.0.7.6 谷歌浏览器插件,CRX可解压,用开发者模式安装
对于想要开始使用Pig的读者,书中的内容会从下载Pig包开始讲起,包括从Apache、Cloudera、Maven仓库等不同途径获取Pig的方法,以及安装和运行Pig的基本步骤。这本书还可能涉及如何设置和配置Pig环境、使用Pig Latin...