1.下载并解压安装包
----------------------------------
在Apache下载最新的Pig软件包,点击下载会推荐最快的镜像站点,以下为下载地址:
pig下载地址
https://mirrors.tuna.tsinghua.edu.cn/apache/pig/pig-0.16.0/
2.配置环境
----------------------------------
解压缩到安装路径, 用如下命令编辑~/.bashrc文件:
Pig工作模式
本地模式:只需要配置PATH环境变量${PIG_HOME}/bin即可,适用于测试
Mapreduce模式:需要添加环境变量PIG_CLASSPATH=${HADOOP_HOME}/conf/,指向Hadoop的conf目录,我的是hadoop2.6 ,hadoop home: /usr/local/hadoop/etc/hadoop
sudo vi ~/.bashrc
添加:
export PIG_HOME=/app/pig-0.13.0
export PIG_CLASSPATH=/usr/local/hadoop/etc/hadoop
export PATH=$PATH:$PIG_HOME/bin
注意:需要启动historyserver ./sbin/mr-jobhistory-daemon.sh start historyserver
3.替换jline.jar 文件
----------------------------------
将$PIG_HOME/lib/jline-*.jar拷贝到$HADOOP_HOME/share/hadoop/yarn/lib
4.运行测试
----------------------------------
执行pig命令看是否报错 不报错则安装成功
分享到:
相关推荐
Pig Latin语言结构清晰,易于学习,能有效提高开发效率。 二、Hadoop环境准备 在安装Pig之前,需要确保已经安装并配置好Hadoop环境。这包括安装Hadoop Common、HDFS、MapReduce和YARN(如果适用)等组件,并确保...
### Apache Pig的基础概念及用法总结 #### 一、引言 Apache Pig是一种高级的数据流语言,用于在Hadoop平台上处理大规模数据集。它通过提供一种抽象层,简化了复杂的大规模数据处理任务,使用户能够更加专注于数据...
下载并解压"Pig-0.9.2.tar.gz"后,开发者可以在本地或Hadoop集群上安装和运行Pig。这通常包括配置环境变量,设置Hadoop路径,然后通过Pig命令行或者脚本执行Pig Latin脚本。 5. **Pig的应用场景**: - 数据清洗:...
《Apache Pig 0.17.0 安装与配置指南》 Apache Pig 是一个用于大数据分析的平台,它提供了一种高级语言 Pig Latin 来处理大规模...通过不断的实践和学习,你将能更好地掌握Pig的潜力,为大数据分析带来强大的动力。
总结,Pig和Hive都是强大的大数据处理工具,它们提供了抽象层,使得开发者无需直接编写MapReduce代码,从而更加专注于业务逻辑。理解并熟练运用Pig Latin和HiveQL,能够有效提升大数据分析项目的工作效率和灵活性。...
Hive允许用户使用类SQL语言进行查询,从而降低了学习MapReduce的复杂性。不过,HiveQL不支持SQL的更新、索引和事务等特性。Hive在处理即席查询(ad-hoc queries)时表现出色,但因为它最终将查询转换为MapReduce作业...
### Hadoop入门进阶课程之Pig介绍、安装与应用案例 #### 一、课程概述 根据提供的文档信息,这是一门关于Hadoop生态系统的入门级课程中的第七周内容,主要介绍了Pig这一工具的基本概念、安装过程以及如何通过Pig...
这份"hadopp学习总结1-5"的资料很可能是针对Hadoop基础到进阶的一系列教程或笔记,旨在帮助学习者掌握这个强大的工具。下面我们将深入探讨Hadoop的相关知识点。 1. **Hadoop简介**: Hadoop是Apache软件基金会的一...
总结,"esimov-pigo.zip"提供的Pigo库是一个优秀的纯Go面部检测工具,其独立性、高效性和易用性使其成为开发者在进行面部识别项目时的一个理想选择。通过深入研究和利用这个开源项目,开发者可以进一步提升他们的...
总结来说,“hit pig”小游戏虽然简单,但它涵盖了VC++编程的多个重要方面:图形界面设计、事件处理、逻辑控制、动画实现、音频处理以及文件操作。通过分析这款游戏的实现,我们可以对VC++编程有更深入的理解,也为...
总结来说,这个“pig(猪脸数据集)”是一个专为猪脸检测设计的资源,它包含丰富的标注信息,适合用于训练和评估目标检测模型,尤其是基于YOLO的系统。对于任何致力于改进动物识别技术,或者在农业、畜牧业等领域应用...
【Hadoop学习总结(面试必备)】 Hadoop作为大数据处理的核心框架,因其分布式存储和计算的能力,成为业界处理海量数据的首选工具。本总结将深入探讨Hadoop的主要组件、工作原理以及在面试中可能遇到的相关知识点。...
了解并实现Pig Latin转换器不仅是学习Java编程的一个有趣实践,也是对字符串处理和逻辑思维能力的锻炼。通过这个项目,开发者可以提升在处理字符串、条件分支和循环控制方面的技能,并理解如何将复杂规则转化为可...
Zookeeper作为分布式协调服务,你需要了解其基本结构、集群安装和操作方法,它是构建分布式系统的重要基础。 HBase是面向列的实时分布式数据库,与传统RDBMS有显著区别。学习HBase包括其定义、数据模型、系统架构,...
总结起来,调试Pig脚本需要理解Pig Latin的语法和操作,熟练掌握日志分析,善用测试和调试工具,并且充分利用社区资源。通过以上方法,即使面对复杂的大数据处理问题,也能游刃有余。在实际工作中,不断实践和学习,...
【Hadoop基础知识学习与总结】 Hadoop是一个由Apache基金会开发的开源分布式系统基础架构,它的设计目标是处理和存储海量数据。Hadoop这个名字源于创始人Doug Cutting的孩子为一只棕黄色大象玩具所取的名字,象征着...
总结,这个"hadop安装软件及安装说明"压缩包是你学习和实践Hadoop的起点,通过它你可以逐步理解分布式计算的概念,掌握Hadoop的安装与配置,以及解决可能出现的问题。不断学习和实践,你将能深入理解Hadoop并利用其...
总结来说,通过学习如何使用Java实现Pig Latin,开发者不仅可以深入理解字符串操作和条件逻辑,还能提升对面向对象编程的理解。这种练习有助于提高编程技能,同时增加了对语言转换规则的趣味性认知。
局域网下安装离线Ambari终结版 Ambari 是 Hortonworks Data Platform(HDP)的安装、管理...我们学习了Ambari的概念、为什么需要离线安装Ambari,以及安装前的准备工作。我们还学习了如何安装Ambari,以便便于使用。