`
qindongliang1922
  • 浏览: 2183776 次
  • 性别: Icon_minigender_1
  • 来自: 北京
博客专栏
7265517b-f87e-3137-b62c-5c6e30e26109
证道Lucene4
浏览量:117530
097be4a0-491e-39c0-89ff-3456fadf8262
证道Hadoop
浏览量:125921
41c37529-f6d8-32e4-8563-3b42b2712a50
证道shell编程
浏览量:59896
43832365-bc15-3f5d-b3cd-c9161722a70c
ELK修真
浏览量:71301
社区版块
存档分类
最新评论

Hadoop2.2如何集成Apache Pig0.12.1?

    博客分类:
  • Pig
阅读更多


散仙假设你的Hadoop环境已经安装完毕


(1)到https://archive.apache.org/dist/pig/下载对应的tar包,如果是hadoop0.20.x之前的版本,则直接可以用,如果Hadoop2.x之后的,则需要重新编译,在pig的根目录下执行如下命令:


ant clean jar-withouthadoop -Dhadoopversion=23

否则执行MapReduce时,会报如下的异常
2013-10-24 09:35:19,300 [main] WARN 
org.apache.pig.backend.hadoop20.PigJobControl - falling back to default 
JobControl (not using hadoop 0.20 ?)
java.lang.NoSuchFieldException: runnerState
     at java.lang.Class.getDeclaredField(Class.java:1938)
     at 
org.apache.pig.backend.hadoop20.PigJobControl.<clinit>(PigJobControl.java:51)
     at 
org.apache.p

(2)配置Pig的环境变量:
export PIG_CLASSPATH=$HADOOP_HOME/etc/hadoop
export PATH=/home/search/pig-0.12.1/bin:$PATH


(3)直接在linux终端执行pig命令,即可进入grunt界面:
2015-05-01 12:44:58,573 [main] INFO  org.apache.pig.Main - Apache Pig version 0.12.2-SNAPSHOT (r: unknown) compiled May 01 2015, 12:28:37
2015-05-01 12:44:58,574 [main] INFO  org.apache.pig.Main - Logging error messages to: /home/search/pig-0.12.1/build/pig_1430498698551.log
2015-05-01 12:44:58,602 [main] INFO  org.apache.pig.impl.util.Utils - Default bootup file /home/search/.pigbootup not found
2015-05-01 12:44:59,244 [main] INFO  org.apache.hadoop.conf.Configuration.deprecation - mapred.job.tracker is deprecated. Instead, use mapreduce.jobtracker.address
2015-05-01 12:44:59,244 [main] INFO  org.apache.hadoop.conf.Configuration.deprecation - fs.default.name is deprecated. Instead, use fs.defaultFS
2015-05-01 12:44:59,244 [main] INFO  org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to hadoop file system at: hdfs://h1:8020
2015-05-01 12:44:59,247 [main] INFO  org.apache.hadoop.conf.Configuration.deprecation - mapred.used.genericoptionsparser is deprecated. Instead, use mapreduce.client.genericoptionsparser.used
2015-05-01 12:45:00,465 [main] INFO  org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to map-reduce job tracker at: h1:8021
2015-05-01 12:45:00,469 [main] INFO  org.apache.hadoop.conf.Configuration.deprecation - fs.default.name is deprecated. Instead, use fs.defaultFS
grunt> 


(4)pig -i查看pig的版本,
pig --help 查看pig的一些帮助命令
pig -x local 执行local模式
pig -x mapreduce 执行MapReduce模式


分享到:
评论

相关推荐

    hadoop 2.2 安装包

    Hadoop 2.2 是一个重要的版本,它在Hadoop生态系统中引入了多项改进和优化,使得大数据处理变得更加高效和可靠。在这个版本中,Hadoop增强了其分布式存储系统HDFS(Hadoop Distributed File System)以及分布式计算...

    hadoop2.2 64位 (下)

    hadoop2.2 64位 (下) centos6.4 64位编译 这是下半部分

    Hadoop2.2+Zookeeper3.4.5+HBase0.96集群环境搭建

    软件方面,需要安装jdk-7u55-linux-x64.rpm、apache-maven-3.1.1-bin.tar、hadoop-2.2.0-src.tar.gz、protobuf-2.5.0.tar.gz、zookeeper-3.4.5.tar.gz和hbase-0.96.2-hadoop2-bin.tar.gz等软件。 Hadoop2.2安装和...

    Hadoop2.2 安装手册

    2. **下载与解压**:从Apache官方网站获取Hadoop 2.2的二进制包,然后解压到指定目录。 3. **配置Hadoop**:编辑`etc/hadoop`目录下的配置文件,如`core-site.xml`、`hdfs-site.xml`和`mapred-site.xml`,设置HDFS和...

    hadoop2.2-64-native包(redhat6.3x64)

    标题中的"hadoop2.2-64-native包(redhat6.3x64)"指的是一个针对Red Hat Enterprise Linux 6.3 64位系统的Hadoop 2.2版本的本地库(native libraries)包。这个包是用户从源代码编译而来的,通常包含了Hadoop运行时所需...

    hadoop2.2集群搭建

    hadoop2.2集群环境搭建,按照本文档操作,可以搭建hadoop2.2的环境,从而进行大数据学习

    (转经修改)ganglia监控HADOOP 2.2

    在Hadoop这样的大数据处理框架中,Ganglia的集成显得尤为重要,因为它能够实时展现Hadoop集群的健康状态和性能瓶颈,帮助管理员优化系统运行。本文将详细讲解如何在Hadoop 2.2版本上配置和使用Ganglia进行监控。 ...

    hadoop2.2 eclipse插件编译

    Eclipse是一款强大的集成开发环境(IDE),它支持多种编程语言,包括Java,而Hadoop主要用Java编写。为了方便Hadoop开发,Eclipse提供了一个名为"Hadoop Eclipse Plugin"的插件,使得开发者可以在Eclipse环境中直接...

    hadoop2.2 下hive的安装

    在本文中,我们将深入探讨如何在Hadoop 2.2环境下安装Hive。Hive是Apache软件基金会开发的一个数据仓库工具,它允许用户通过SQL-like查询语言(HQL)来处理存储在Hadoop分布式文件系统(HDFS)中的大数据集。在...

    hadoop2.2在window7 sp1 32位系统中运行所需要的文件

    本文将详细讲解如何在Windows 7 SP1 32位系统上配置和运行Hadoop 2.2,以及涉及的关键文件和工具。 首先,我们关注的标题是“hadoop2.2在window7 sp1 32位系统中运行所需要的文件”。这意味着我们要在32位Windows...

    hadoop2.2简易安装工具

    hadoop2.2 安装 工具 hive hbase快速安装工具

    hadoop2.2编译安装详解

    在本文中,我们将深入探讨Hadoop 2.2的编译和安装过程,这是一个广泛用于大数据处理和存储的开源框架。Hadoop的核心组件包括HDFS(Hadoop分布式文件系统)和MapReduce,它们共同构建了一个可扩展、容错性强的大数据...

    hadoop 2.2 eclipse plugins 插件

    hadoop 2.2 eclipse plugins 插件 拷贝至plugins即可 留给自己的,当做备份用

    hadoop2.2 api

    Hadoop 2.2 提供了一系列的Java API接口,如`org.apache.hadoop.mapreduce`包下的`Mapper`, `Reducer`, `InputFormat`, `OutputFormat`等类,开发者可以通过这些接口实现自定义的Mapper和Reducer函数,以及输入和...

    hadoop2.2+spark集群搭建手记之hadoop集群遇到的各种问题

    hadoop2.2集群搭建遇到的各种问题。

    hadoop 2.2 64位 二进制包(上)

    hadoop2.2 64位 centos6.4 64位编译 这是上半部分

    hadoop2.2伪分布式集群搭建

    hadoop2.2伪分布式集群搭建 #查看防火墙状态 service iptables status #关闭防火墙 service iptables stop #查看防火墙开机启动状态 chkconfig iptables --list #关闭防火墙开机启动 chkconfig iptables off

    Hadoop2.2部署文档

    Hadoop是由Apache基金会开发的一个分布式文件系统(HDFS)和MapReduce计算框架,旨在处理和存储大量数据。Hadoop2.2.0是其发展中的一个重要里程碑,引入了YARN(Yet Another Resource Negotiator),提高了资源管理...

    hadoop2.2+hbase0.96+hive0.12 安装文档

    综合以上信息,用户在进行hadoop2.2+hbase0.96+hive0.12的集成安装时,应该详细检查各个组件的版本兼容性,确保系统权限设置正确,按照实践指南执行相关配置步骤,并正确设置和使用MySQL数据库作为元数据存储。...

    Hadoop 2.2 64位 native 库

    Hadoop2.2官方发布版本是32位的,没有提供64的发布包;32位发布包在Linux64位下运行会报warn。现编译出64位的native库,供大家下载; 直接替换lib/native下的文件即可,本native库适合 RedHat、CentOS 64位系统。

Global site tag (gtag.js) - Google Analytics