`
cumtheima
  • 浏览: 255963 次
  • 性别: Icon_minigender_1
  • 来自: 南京
社区版块
存档分类
最新评论

Hadoop家族安装系列(4)——pig0.12安装

阅读更多

在Hadoop1.2.1分布式集群环境下安装pig0.12

 

 前言:

1. 大家最好通读一遍过后,在理解的基础上再按照步骤搭建。

2. 之前写过几篇文章是关于Hadoop家族安装系列的,后续还会有其它内容,敬请期待!

3. 好记性不如烂笔头,最近突然想把自己学习的东西整理出来,一则服务大众,二则以后好查阅。由于水平有限,难免有错误,请多谅解并指正,如有什么问题可以留言咨询。

一、推荐阅读文章

Hadoop家族安装系列(1)——Hadoop1.2.1分布式安装

Hadoop家族安装系列(2)——安装Mahout0.9框架

Hadoop家族安装系列(3)——Hive0.12安装

二、前提条件

Hadoop1.2.1分布式集群环境搭建成功,并且Hadoop集群服务器正常运行

三、所需环境与软件

1. Hadoop分布式集群环境

Hadoop家族安装系列(1)——Hadoop1.2.1分布式安装

2.  Pig0.12: pig-0.12.0.tar.gz

四、安装和配置

1. 下载pig-0.12.0.tar.gz,并使用以下命令解压后,移动到opt目录下。

    tar -zxvf pig-0.12.0.tar.gz    (解压后文件夹为:pig-0.12.0)

    sudo mv pig-0.12.0 /opt/pig-0.12.0

2. 配置环境变量

如(图1)所示,使用命令 sudo gedit /etc/profile  打开文件后,在文件最后面加入:

    export PIG_HOME=/opt/pig-0.12.0

    export PIG_CLASSPATH=${HADOOP_HOME}/conf

    export PATH=${PATH}:${PIG_HOME}/bin



(图1)

备注:最后要使用命令:source /etc/profile  使环境变量立即生效。

五、运行与测试

二种运行方式:

1. 本地运行

    命令: pig -x local

出现如(图2)所示页面,说明本地运行成功。


(图2)

2. 集群运行

(1). 启动hadoop集群,如(图3)所示。

    使用命令: start-all.sh 启动hadoop集群。

    使用命令: jps  查看是否启动成功。


(图3)

(2). pig集群运行

    命令:  pig

出现如(图4)所示页面,说明本地运行成功。



(图4)

3. 成功了,虽然很简单,还是高兴一下。

2014年3月9日

 

  • 大小: 172.8 KB
  • 大小: 73.3 KB
  • 大小: 112.5 KB
  • 大小: 71.6 KB
1
0
分享到:
评论

相关推荐

    Hadoop课程实验和报告——Hadoop安装实验报告

    Hadoop课程实验和报告——Hadoop安装实验报告 Hadoop是一个开源的大数据处理框架,由Apache基金会开发和维护。它提供了一种可靠、可扩展、可高效的方法来存储和处理大规模数据。在本实验报告中,我们将介绍Hadoop的...

    hadoop2.2+hbase0.96+hive0.12安装整合详细高可靠文档及经验总结

    ### hadoop2.2+hbase0.96+hive0.12安装整合详细高可靠文档及经验总结 #### 一、Hadoop2.2的安装 **问题导读:** 1. Hadoop的安装需要安装哪些软件? 2. Hadoop与HBase整合需要注意哪些问题? 3. Hive与HBase的...

    hadoop2.2+hbase0.96+hive0.12 安装文档

    综合以上信息,用户在进行hadoop2.2+hbase0.96+hive0.12的集成安装时,应该详细检查各个组件的版本兼容性,确保系统权限设置正确,按照实践指南执行相关配置步骤,并正确设置和使用MySQL数据库作为元数据存储。...

    Hadoop课程实验和报告——K-Means算法并行实现

    Hadoop课程实验和报告——K-Means算法并行实现

    hadoop2.2.0+Hbase0.96+hive0.12详细配置

    本文将详细介绍如何在Linux环境下搭建Hadoop2.2.0、HBase0.96和Hive0.12的集群环境。 首先,我们从Hadoop的安装开始。Hadoop2.2.0是Apache官方稳定版,可以从官方网站或镜像站点下载。下载完成后,将其上传到Linux...

    Hadoop课程实验和报告——Apriori算法并行实现

    在大数据处理领域,Hadoop是一个不可或缺的开源框架,它提供了分布式计算的能力,使得处理海量数据变得可能。本实验是关于如何在Hadoop平台上并行实现经典的Apriori算法,这是一门重要的数据挖掘技术,主要用于关联...

    Hadoop安装学习-入门教程

    Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, ...

    「大数据干货」基于Hadoop的大数据平台实施——整体架构设计.pdf

    【大数据平台实施——整体架构设计】 大数据作为信息技术领域的一个热门话题,已经成为众多企业和组织追求的新方向。尽管对于大数据是否适合每个公司或组织尚存争议,但不可否认的是,大数据已经在互联网上被广泛...

    hadoop的安装

    标题《hadoop的安装》所涉及的知识点涵盖Hadoop安装过程中的各个方面,包括但不限于JDK环境的配置与安装、Hadoop下载、解压、配置以及启动等步骤。以下是根据给定内容和描述生成的详细知识点: 1. JDK环境配置与...

    hadoop集群配置之———hive安装与配置(超详细)

    Hive的安装过程涉及到了一系列的配置,例如配置Hive的环境变量,指定Hive使用的元数据库(在本例中是MySQL),并进行相应的环境配置和初始化。之后,就可以使用Hive的命令行工具(hive CLI)进行操作,比如创建表、...

    Hadoop课程实验和报告——每年申请美国专利的国家数统计

    在本Hadoop课程实验中,我们关注的主题是“每年申请美国专利的国家数统计”。这个实验旨在通过大数据处理技术,分析各国在美国专利申请的数量,从而揭示全球创新活动的分布情况。我们将利用Apache Hadoop这一开源...

    完整版大数据云计算课程 Hadoop数据分析平台系列课程 Hadoop 08 Pig安装与Pig Latin语言,应用案例 共2

    本课程聚焦于“Hadoop 08 Pig安装与Pig Latin语言”,旨在深入理解Pig的工作原理及其在实际应用中的价值。 Pig拉丁语(Pig Latin)是Pig的编程语言,它允许用户以一种声明性的方式编写数据处理逻辑,而非传统的低级...

    hadoop完全安装手册

    ### Hadoop完全分布式安装手册 #### 一、环境规划与准备 在进行Hadoop的完全分布式安装之前,首先需要对整个环境进行规划和必要的准备工作。根据文档提供的信息,本手册将涉及以下三个主要方面: 1. **JDK安装**...

    Hadoop、HBase、Hive、Pig、Zookeeper资料整理

    4. **Pig**:Apache Pig是Hadoop生态系统中的一个高级数据分析平台,它提供了一种称为Pig Latin的脚本语言,用于处理和分析大规模数据。Pig Latin抽象了MapReduce,使得用户无需直接编写Java代码即可实现复杂的数据...

    Hadoop2.7.7安装过程

    在本文中,我们将详细探讨如何在Linux环境下安装Hadoop 2.7.7,这是一个广泛使用的开源分布式计算框架。在安装过程中,我们会遇到各种问题,但通过学习和实践,我们可以克服这些困难,从而深入理解Hadoop及其依赖...

    hadoop家族各种中间件图谱

    hadoop家族各种中间件图谱,包含HBase、Hive、Pig、Sqoop、Hadoop、Zookeeper、Mahout、Hue等等

    hadoop安装

    Hadoop 安装详解 Hadoop 是一种基于 Java 的大数据处理框架,它由 Doug Cutting 和 Mike Cafarella 共同开发,于 2005 年捐献给 Apache 软件基金会。Hadoop 的安装相对较为复杂,需要配置环境变量、core-site.xml、...

    HADOOP 系统之hadoop pig hive 整合版

    **Hadoop The Definitive Guide** 这本书是Hadoop领域的权威指南,涵盖了Hadoop的安装、配置、优化以及各种实用技巧。通过阅读这本书,你可以深入了解Hadoop的内部工作机制,如何管理Hadoop集群,以及如何编写...

    eclipse安装Hadoop插件

    ### Eclipse安装Hadoop插件详解 #### 一、前言 随着大数据技术的快速发展,Hadoop作为处理海量数据的重要工具之一,其应用越来越广泛。为了更好地利用Eclipse进行Hadoop程序开发,安装Hadoop Eclipse插件是十分...

    大数据处理框架:Hadoop:Hadoop数据处理框架Pig.docx

    大数据处理框架:Hadoop:Hadoop数据处理框架Pig.docx

Global site tag (gtag.js) - Google Analytics