在Hadoop1.2.1分布式集群环境下安装pig0.12
● 前言:
1. 大家最好通读一遍过后,在理解的基础上再按照步骤搭建。
2. 之前写过几篇文章是关于Hadoop家族安装系列的,后续还会有其它内容,敬请期待!
3. 好记性不如烂笔头,最近突然想把自己学习的东西整理出来,一则服务大众,二则以后好查阅。由于水平有限,难免有错误,请多谅解并指正,如有什么问题可以留言咨询。
一、推荐阅读文章
《Hadoop家族安装系列(1)——Hadoop1.2.1分布式安装》
《Hadoop家族安装系列(2)——安装Mahout0.9框架》
二、前提条件
Hadoop1.2.1分布式集群环境搭建成功,并且Hadoop集群服务器正常运行。
三、所需环境与软件
1. Hadoop分布式集群环境:
见《Hadoop家族安装系列(1)——Hadoop1.2.1分布式安装》。
2. Pig0.12: pig-0.12.0.tar.gz
四、安装和配置
1. 下载pig-0.12.0.tar.gz,并使用以下命令解压后,移动到opt目录下。
tar -zxvf pig-0.12.0.tar.gz (解压后文件夹为:pig-0.12.0)
sudo mv pig-0.12.0 /opt/pig-0.12.0
2. 配置环境变量
如(图1)所示,使用命令 sudo gedit /etc/profile 打开文件后,在文件最后面加入:
export PIG_HOME=/opt/pig-0.12.0
export PIG_CLASSPATH=${HADOOP_HOME}/conf
export PATH=${PATH}:${PIG_HOME}/bin
(图1)
备注:最后要使用命令:source /etc/profile 使环境变量立即生效。
五、运行与测试
有二种运行方式:
1. 本地运行
命令: pig -x local
出现如(图2)所示页面,说明本地运行成功。
(图2)
2. 集群运行
(1). 启动hadoop集群,如(图3)所示。
使用命令: start-all.sh 启动hadoop集群。
使用命令: jps 查看是否启动成功。
(图3)
(2). pig集群运行
命令: pig
出现如(图4)所示页面,说明本地运行成功。
(图4)
3. 成功了,虽然很简单,还是高兴一下。
2014年3月9日
相关推荐
Hadoop课程实验和报告——Hadoop安装实验报告 Hadoop是一个开源的大数据处理框架,由Apache基金会开发和维护。它提供了一种可靠、可扩展、可高效的方法来存储和处理大规模数据。在本实验报告中,我们将介绍Hadoop的...
### hadoop2.2+hbase0.96+hive0.12安装整合详细高可靠文档及经验总结 #### 一、Hadoop2.2的安装 **问题导读:** 1. Hadoop的安装需要安装哪些软件? 2. Hadoop与HBase整合需要注意哪些问题? 3. Hive与HBase的...
综合以上信息,用户在进行hadoop2.2+hbase0.96+hive0.12的集成安装时,应该详细检查各个组件的版本兼容性,确保系统权限设置正确,按照实践指南执行相关配置步骤,并正确设置和使用MySQL数据库作为元数据存储。...
Hadoop课程实验和报告——K-Means算法并行实现
本文将详细介绍如何在Linux环境下搭建Hadoop2.2.0、HBase0.96和Hive0.12的集群环境。 首先,我们从Hadoop的安装开始。Hadoop2.2.0是Apache官方稳定版,可以从官方网站或镜像站点下载。下载完成后,将其上传到Linux...
在大数据处理领域,Hadoop是一个不可或缺的开源框架,它提供了分布式计算的能力,使得处理海量数据变得可能。本实验是关于如何在Hadoop平台上并行实现经典的Apriori算法,这是一门重要的数据挖掘技术,主要用于关联...
Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, ...
【大数据平台实施——整体架构设计】 大数据作为信息技术领域的一个热门话题,已经成为众多企业和组织追求的新方向。尽管对于大数据是否适合每个公司或组织尚存争议,但不可否认的是,大数据已经在互联网上被广泛...
标题《hadoop的安装》所涉及的知识点涵盖Hadoop安装过程中的各个方面,包括但不限于JDK环境的配置与安装、Hadoop下载、解压、配置以及启动等步骤。以下是根据给定内容和描述生成的详细知识点: 1. JDK环境配置与...
Hive的安装过程涉及到了一系列的配置,例如配置Hive的环境变量,指定Hive使用的元数据库(在本例中是MySQL),并进行相应的环境配置和初始化。之后,就可以使用Hive的命令行工具(hive CLI)进行操作,比如创建表、...
在本Hadoop课程实验中,我们关注的主题是“每年申请美国专利的国家数统计”。这个实验旨在通过大数据处理技术,分析各国在美国专利申请的数量,从而揭示全球创新活动的分布情况。我们将利用Apache Hadoop这一开源...
本课程聚焦于“Hadoop 08 Pig安装与Pig Latin语言”,旨在深入理解Pig的工作原理及其在实际应用中的价值。 Pig拉丁语(Pig Latin)是Pig的编程语言,它允许用户以一种声明性的方式编写数据处理逻辑,而非传统的低级...
### Hadoop完全分布式安装手册 #### 一、环境规划与准备 在进行Hadoop的完全分布式安装之前,首先需要对整个环境进行规划和必要的准备工作。根据文档提供的信息,本手册将涉及以下三个主要方面: 1. **JDK安装**...
4. **Pig**:Apache Pig是Hadoop生态系统中的一个高级数据分析平台,它提供了一种称为Pig Latin的脚本语言,用于处理和分析大规模数据。Pig Latin抽象了MapReduce,使得用户无需直接编写Java代码即可实现复杂的数据...
在本文中,我们将详细探讨如何在Linux环境下安装Hadoop 2.7.7,这是一个广泛使用的开源分布式计算框架。在安装过程中,我们会遇到各种问题,但通过学习和实践,我们可以克服这些困难,从而深入理解Hadoop及其依赖...
hadoop家族各种中间件图谱,包含HBase、Hive、Pig、Sqoop、Hadoop、Zookeeper、Mahout、Hue等等
Hadoop 安装详解 Hadoop 是一种基于 Java 的大数据处理框架,它由 Doug Cutting 和 Mike Cafarella 共同开发,于 2005 年捐献给 Apache 软件基金会。Hadoop 的安装相对较为复杂,需要配置环境变量、core-site.xml、...
**Hadoop The Definitive Guide** 这本书是Hadoop领域的权威指南,涵盖了Hadoop的安装、配置、优化以及各种实用技巧。通过阅读这本书,你可以深入了解Hadoop的内部工作机制,如何管理Hadoop集群,以及如何编写...
### Eclipse安装Hadoop插件详解 #### 一、前言 随着大数据技术的快速发展,Hadoop作为处理海量数据的重要工具之一,其应用越来越广泛。为了更好地利用Eclipse进行Hadoop程序开发,安装Hadoop Eclipse插件是十分...
大数据处理框架:Hadoop:Hadoop数据处理框架Pig.docx