散仙假设你的Hadoop环境已经安装完毕
(1)到https://archive.apache.org/dist/pig/下载对应的tar包,如果是hadoop0.20.x之前的版本,则直接可以用,如果Hadoop2.x之后的,则需要重新编译,在pig的根目录下执行如下命令:
ant clean jar-withouthadoop -Dhadoopversion=23
否则执行MapReduce时,会报如下的异常
2013-10-24 09:35:19,300 [main] WARN
org.apache.pig.backend.hadoop20.PigJobControl - falling back to default
JobControl (not using hadoop 0.20 ?)
java.lang.NoSuchFieldException: runnerState
at java.lang.Class.getDeclaredField(Class.java:1938)
at
org.apache.pig.backend.hadoop20.PigJobControl.<clinit>(PigJobControl.java:51)
at
org.apache.p
(2)配置Pig的环境变量:
export PIG_CLASSPATH=$HADOOP_HOME/etc/hadoop
export PATH=/home/search/pig-0.12.1/bin:$PATH
(3)直接在linux终端执行pig命令,即可进入grunt界面:
2015-05-01 12:44:58,573 [main] INFO org.apache.pig.Main - Apache Pig version 0.12.2-SNAPSHOT (r: unknown) compiled May 01 2015, 12:28:37
2015-05-01 12:44:58,574 [main] INFO org.apache.pig.Main - Logging error messages to: /home/search/pig-0.12.1/build/pig_1430498698551.log
2015-05-01 12:44:58,602 [main] INFO org.apache.pig.impl.util.Utils - Default bootup file /home/search/.pigbootup not found
2015-05-01 12:44:59,244 [main] INFO org.apache.hadoop.conf.Configuration.deprecation - mapred.job.tracker is deprecated. Instead, use mapreduce.jobtracker.address
2015-05-01 12:44:59,244 [main] INFO org.apache.hadoop.conf.Configuration.deprecation - fs.default.name is deprecated. Instead, use fs.defaultFS
2015-05-01 12:44:59,244 [main] INFO org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to hadoop file system at: hdfs://h1:8020
2015-05-01 12:44:59,247 [main] INFO org.apache.hadoop.conf.Configuration.deprecation - mapred.used.genericoptionsparser is deprecated. Instead, use mapreduce.client.genericoptionsparser.used
2015-05-01 12:45:00,465 [main] INFO org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to map-reduce job tracker at: h1:8021
2015-05-01 12:45:00,469 [main] INFO org.apache.hadoop.conf.Configuration.deprecation - fs.default.name is deprecated. Instead, use fs.defaultFS
grunt>
(4)pig -i查看pig的版本,
pig --help 查看pig的一些帮助命令
pig -x local 执行local模式
pig -x mapreduce 执行MapReduce模式
分享到:
相关推荐
Hadoop 2.2 是一个重要的版本,它在Hadoop生态系统中引入了多项改进和优化,使得大数据处理变得更加高效和可靠。在这个版本中,Hadoop增强了其分布式存储系统HDFS(Hadoop Distributed File System)以及分布式计算...
hadoop2.2 64位 (下) centos6.4 64位编译 这是下半部分
软件方面,需要安装jdk-7u55-linux-x64.rpm、apache-maven-3.1.1-bin.tar、hadoop-2.2.0-src.tar.gz、protobuf-2.5.0.tar.gz、zookeeper-3.4.5.tar.gz和hbase-0.96.2-hadoop2-bin.tar.gz等软件。 Hadoop2.2安装和...
2. **下载与解压**:从Apache官方网站获取Hadoop 2.2的二进制包,然后解压到指定目录。 3. **配置Hadoop**:编辑`etc/hadoop`目录下的配置文件,如`core-site.xml`、`hdfs-site.xml`和`mapred-site.xml`,设置HDFS和...
标题中的"hadoop2.2-64-native包(redhat6.3x64)"指的是一个针对Red Hat Enterprise Linux 6.3 64位系统的Hadoop 2.2版本的本地库(native libraries)包。这个包是用户从源代码编译而来的,通常包含了Hadoop运行时所需...
hadoop2.2集群环境搭建,按照本文档操作,可以搭建hadoop2.2的环境,从而进行大数据学习
在Hadoop这样的大数据处理框架中,Ganglia的集成显得尤为重要,因为它能够实时展现Hadoop集群的健康状态和性能瓶颈,帮助管理员优化系统运行。本文将详细讲解如何在Hadoop 2.2版本上配置和使用Ganglia进行监控。 ...
Eclipse是一款强大的集成开发环境(IDE),它支持多种编程语言,包括Java,而Hadoop主要用Java编写。为了方便Hadoop开发,Eclipse提供了一个名为"Hadoop Eclipse Plugin"的插件,使得开发者可以在Eclipse环境中直接...
在本文中,我们将深入探讨如何在Hadoop 2.2环境下安装Hive。Hive是Apache软件基金会开发的一个数据仓库工具,它允许用户通过SQL-like查询语言(HQL)来处理存储在Hadoop分布式文件系统(HDFS)中的大数据集。在...
本文将详细讲解如何在Windows 7 SP1 32位系统上配置和运行Hadoop 2.2,以及涉及的关键文件和工具。 首先,我们关注的标题是“hadoop2.2在window7 sp1 32位系统中运行所需要的文件”。这意味着我们要在32位Windows...
hadoop2.2 安装 工具 hive hbase快速安装工具
在本文中,我们将深入探讨Hadoop 2.2的编译和安装过程,这是一个广泛用于大数据处理和存储的开源框架。Hadoop的核心组件包括HDFS(Hadoop分布式文件系统)和MapReduce,它们共同构建了一个可扩展、容错性强的大数据...
hadoop 2.2 eclipse plugins 插件 拷贝至plugins即可 留给自己的,当做备份用
Hadoop 2.2 提供了一系列的Java API接口,如`org.apache.hadoop.mapreduce`包下的`Mapper`, `Reducer`, `InputFormat`, `OutputFormat`等类,开发者可以通过这些接口实现自定义的Mapper和Reducer函数,以及输入和...
hadoop2.2集群搭建遇到的各种问题。
hadoop2.2 64位 centos6.4 64位编译 这是上半部分
hadoop2.2伪分布式集群搭建 #查看防火墙状态 service iptables status #关闭防火墙 service iptables stop #查看防火墙开机启动状态 chkconfig iptables --list #关闭防火墙开机启动 chkconfig iptables off
Hadoop是由Apache基金会开发的一个分布式文件系统(HDFS)和MapReduce计算框架,旨在处理和存储大量数据。Hadoop2.2.0是其发展中的一个重要里程碑,引入了YARN(Yet Another Resource Negotiator),提高了资源管理...
综合以上信息,用户在进行hadoop2.2+hbase0.96+hive0.12的集成安装时,应该详细检查各个组件的版本兼容性,确保系统权限设置正确,按照实践指南执行相关配置步骤,并正确设置和使用MySQL数据库作为元数据存储。...
Hadoop2.2官方发布版本是32位的,没有提供64的发布包;32位发布包在Linux64位下运行会报warn。现编译出64位的native库,供大家下载; 直接替换lib/native下的文件即可,本native库适合 RedHat、CentOS 64位系统。