pig的安装方法:
链接地址:
http://kevin12.iteye.com/blog/2026327
1.先从官网下载pig,我使用的版本是pig-0.11.1.tar.gz,放到linux的/usr/local目录下;
2.执行命令 tar -zxvf pig-0.11.1.tar.gz,然后运行命令 mv pig-0.11.1 pig重命名为pig;
3.运行命令vi /etc/profile打开profile文件,在文件/etc/profile中设置环境变量PIG_HOME,并把bin目录添加到环境变量PATH中;下图是我的配置文件内容,然后运行命令 source /etc/profile,使文件生效。
4.修改配置文件$PIG_HOME/conf/pig.properties,在文件最后增加两行内容以下两行内容分别指的是hadoop配置的HDFS名称和MapReduce名称。其中,HDFS的名称来自于hadoop的配置文件core-site.xml,MapReduce的名称来自于hadoop的配置文件mapred-site.xml。修改好后保存并退出。
5.验证pig是否安装成,在命令行中输入pig,等待一会,如果出现下面界面,命令行进入grunt,就说明你的pig安装成功。从输出中可以看到,Pig报告了它所连接的文件系统和jobtracker。
链接地址:
http://kevin12.iteye.com/blog/2026327
- 大小: 24 KB
- 大小: 4.1 KB
- 大小: 23.9 KB
分享到:
相关推荐
**Hadoop The Definitive Guide** 这本书是Hadoop领域的权威指南,涵盖了Hadoop的安装、配置、优化以及各种实用技巧。通过阅读这本书,你可以深入了解Hadoop的内部工作机制,如何管理Hadoop集群,以及如何编写...
标题中的“用于进行Hadoop Pig分析的日志”指的是在大数据处理场景中,使用Apache Pig工具对网站访问日志数据进行分析的过程。Pig是Hadoop生态系统中的一个高级数据处理语言,它提供了一种抽象的方式,使得用户可以...
本课程聚焦于“Hadoop 08 Pig安装与Pig Latin语言”,旨在深入理解Pig的工作原理及其在实际应用中的价值。 Pig拉丁语(Pig Latin)是Pig的编程语言,它允许用户以一种声明性的方式编写数据处理逻辑,而非传统的低级...
课程的重点在于让学员能够独立且熟练地完成Hadoop的安装、配置和管理,包括在Hadoop、操作系统和关系型数据库之间有效地传输数据。此外,课程还要求学员掌握Map-Reduce原理,能够编写Map-Reduce程序,理解HDFS...
最全 hadoop pig中文PDF编程指南,非开发方式进行数据处理。
标题 "Hadoop Pig Vertica" 涉及到三个关键概念:Hadoop、Pig 和 Vertica。这些技术都是大数据处理领域的重要组成部分。 Hadoop 是一个开源框架,主要用于存储和处理大规模数据集。它基于分布式文件系统(HDFS),...
### Hadoop、HBase与Pig的安装与配置详解 #### Hadoop的安装与配置 在部署Hadoop之前,首先需要确保系统中已正确安装了Java环境。在本例中,使用的是`jdk-7u25-linux-i586.rpm`。安装过程包括将JDK包放置于`/usr/...
Hadoop 安装 学习 入门教程 Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, ...
在IT行业中,Hadoop是一个广泛使用的开源框架,用于存储和...在部署完成后,可以考虑学习和掌握Hadoop的数据处理框架如MapReduce和Spark,以及Hadoop生态中的其他工具,如Hive、Pig和HBase等,以充分发挥Hadoop的潜力。
### Hadoop 安装详细指南 #### 一、概述 Hadoop是一款开源软件框架,用于分布式存储和处理...此外,为了更好地管理和监控Hadoop集群,还推荐进一步了解Hadoop生态系统中的其他工具和技术,例如Hive、Pig、Spark等。
然而,这只是Hadoop生态系统的基础,实际上还包括许多其他组件,如HBase、Hive、Pig等,它们可以提供更高级的数据管理和分析功能。对于更复杂的应用场景,可能还需要进一步优化和调整Hadoop的配置,以适应特定的工作...
本教程涵盖了Hadoop的安装部署及教学,旨在帮助初学者和进阶者全面理解并掌握这一分布式计算框架。以下将详细阐述Hadoop的相关知识点,包括其概念、架构、安装步骤、配置优化以及实际应用。 一、Hadoop概述 Hadoop...
"基于Ubuntu的hadoop集群安装与配置" 本文将详细介绍基于Ubuntu环境下的Hadoop集群安装与配置,涵盖Hadoop的基本概念、HDFS(分布式文件系统)、MapReduce(分布式计算模型)、集群架构、NameNode和DataNode的角色...
【Hadoop技术Pig简介共11页.pdf.zip】是一个压缩文件,包含了关于Hadoop技术中的Pig组件的详细介绍。Pig是Apache Hadoop生态系统中的一个高级数据处理工具,它提供了一种高级语言(称为Pig Latin)来抽象和执行大...
### Hadoop 安装与性能测试综合指南 #### 一、前言 Hadoop是一款开源的大数据处理框架...未来,随着实践的深入,还可以进一步探索Hadoop生态系统中的其他组件,如Hive、Pig、Spark等,以满足更为复杂的数据分析需求。
至于“开发新的数据算法”,Hadoop提供了丰富的API和工具,如Pig、Hive、Spark等,可以用于处理和分析大数据。你可以在Java、Python或其他支持的语言中编写MapReduce程序,实现自己的数据处理逻辑。 总结来说,本...
这个压缩包文件“hadoop”很可能包含了安装Hadoop所需的所有软件和详细指南,是学习和部署Hadoop的宝贵资源。 一、Hadoop概述 Hadoop的核心组件包括HDFS(Hadoop Distributed File System)和MapReduce。HDFS是一种...
同时,Hadoop生态系统还包括其他组件,如Hive(用于数据仓库)、Pig(数据分析)、Spark(快速处理框架)等,它们可以与Hadoop集成,提供更强大的功能。 在实践中,可能需要根据具体的业务需求和硬件配置进行调整,...