Hadoop环境已经安装完毕
（1）到https://archive.apache.org/dist/pig/下载对应的tar包，如果是hadoop0.20.x之前的版本，则直接可以用，如果Hadoop2.x之后的，则需要重新编译，在pig的根目录下执行如下命令：
Java代码
- ant clean jar-withouthadoop -Dhadoopversion=23
ant clean jar-withouthadoop -Dhadoopversion=23
否则执行MapReduce时，会报如下的异常
Java代码
- 2013-10-24 09:35:19,300 [main] WARN
- org.apache.pig.backend.hadoop20.PigJobControl - falling back to default
- JobControl (not using hadoop 0.20 ?)
- java.lang.NoSuchFieldException: runnerState
- at java.lang.Class.getDeclaredField(Class.java:1938)
- at
- org.apache.pig.backend.hadoop20.PigJobControl.<clinit>(PigJobControl.java:51)
- at
- org.apache.p
2013-10-24 09:35:19,300 [main] WARN
org.apache.pig.backend.hadoop20.PigJobControl - falling back to default
JobControl (not using hadoop 0.20 ?)
java.lang.NoSuchFieldException: runnerState
at java.lang.Class.getDeclaredField(Class.java:1938)
at
org.apache.pig.backend.hadoop20.PigJobControl.<clinit>(PigJobControl.java:51)
at
org.apache.p
（2）配置Pig的环境变量：
Java代码 
- export PIG_CLASSPATH=$HADOOP_HOME/etc/hadoop
- export PATH=/home/search/pig-0.12.1/bin:$PATH
export PIG_CLASSPATH=$HADOOP_HOME/etc/hadoop export PATH=/home/search/pig-0.12.1/bin:$PATH
（3）直接在linux终端执行pig命令，即可进入grunt界面：
Java代码
- 2015-05-01 12:44:58,573 [main] INFO org.apache.pig.Main - Apache Pig version 0.12.2-SNAPSHOT (r: unknown) compiled May 01 2015, 12:28:37
- 2015-05-01 12:44:58,574 [main] INFO org.apache.pig.Main - Logging error messages to: /home/search/pig-0.12.1/build/pig_1430498698551.log
- 2015-05-01 12:44:58,602 [main] INFO org.apache.pig.impl.util.Utils - Default bootup file /home/search/.pigbootup not found
- 2015-05-01 12:44:59,244 [main] INFO org.apache.hadoop.conf.Configuration.deprecation - mapred.job.tracker is deprecated. Instead, use mapreduce.jobtracker.address
- 2015-05-01 12:44:59,244 [main] INFO org.apache.hadoop.conf.Configuration.deprecation - fs.default.name is deprecated. Instead, use fs.defaultFS
- 2015-05-01 12:44:59,244 [main] INFO org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to hadoop file system at: hdfs://h1:8020
- 2015-05-01 12:44:59,247 [main] INFO org.apache.hadoop.conf.Configuration.deprecation - mapred.used.genericoptionsparser is deprecated. Instead, use mapreduce.client.genericoptionsparser.used
- 2015-05-01 12:45:00,465 [main] INFO org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to map-reduce job tracker at: h1:8021
- 2015-05-01 12:45:00,469 [main] INFO org.apache.hadoop.conf.Configuration.deprecation - fs.default.name is deprecated. Instead, use fs.defaultFS
- grunt>
2015-05-01 12:44:58,573 [main] INFO org.apache.pig.Main - Apache Pig version 0.12.2-SNAPSHOT (r: unknown) compiled May 01 2015, 12:28:37 2015-05-01 12:44:58,574 [main] INFO org.apache.pig.Main - Logging error messages to: /home/search/pig-0.12.1/build/pig_1430498698551.log 2015-05-01 12:44:58,602 [main] INFO org.apache.pig.impl.util.Utils - Default bootup file /home/search/.pigbootup not found 2015-05-01 12:44:59,244 [main] INFO org.apache.hadoop.conf.Configuration.deprecation - mapred.job.tracker is deprecated. Instead, use mapreduce.jobtracker.address 2015-05-01 12:44:59,244 [main] INFO org.apache.hadoop.conf.Configuration.deprecation - fs.default.name is deprecated. Instead, use fs.defaultFS 2015-05-01 12:44:59,244 [main] INFO org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to hadoop file system at: hdfs://h1:8020 2015-05-01 12:44:59,247 [main] INFO org.apache.hadoop.conf.Configuration.deprecation - mapred.used.genericoptionsparser is deprecated. Instead, use mapreduce.client.genericoptionsparser.used 2015-05-01 12:45:00,465 [main] INFO org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to map-reduce job tracker at: h1:8021 2015-05-01 12:45:00,469 [main] INFO org.apache.hadoop.conf.Configuration.deprecation - fs.default.name is deprecated. Instead, use fs.defaultFS grunt>
（4）pig -i查看pig的版本，
pig --help 查看pig的一些帮助命令
pig -x local 执行local模式
pig -x mapreduce 执行MapReduce模式
相关推荐
在本教程中，我们将详细介绍如何在Windows系统下搭建Hadoop环境，内容涉及虚拟机的安装、基础环境配置以及Hadoop集群的具体搭建步骤。适合初学者跟随本教程一步步进行操作。 首先，搭建Hadoop环境需要一台高性能...
本资源提供的是一套完整的Hadoop环境部署，包括了多个关键组件，旨在帮助用户快速搭建一个功能齐全的大数据处理平台。这套虚拟机镜像包含了以下组件： 1. **HDFS (Hadoop Distributed File System)**：Hadoop的核心...
"windows下面的hadoop环境变量"这个标题暗示了我们正在解决Hadoop在Windows上的安装和配置问题，特别是关于`winutils.exe`的路径设置。 在Hadoop的运行过程中，`winutils.exe`是一个必不可少的工具，它对应于Linux...
【Hadoop环境部署自动化Shell脚本】是一种高效的方法，用于快速搭建Hadoop集群，无论是用于学习还是开发。本文档提供了一个详细的脚本，涵盖了从Java环境配置到Hadoop集群的完全分布式安装的所有步骤，旨在降低...
Hadoop 单机版搭建环境图文解析 Hadoop 是一种基于分布式计算的开源框架，由 Apache 基金会开发和维护。它主要由 HDFS（分布式文件系统）和 MapReduce（分布式计算框架）两部分组成。Hadoop 的主要特点是高可扩展性...
### Hadoop环境搭建手册 #### 一、Hadoop简介 Hadoop是一个开源的分布式计算框架，主要用于处理大规模数据集。该框架由Apache软件基金会维护，是大数据领域内最重要的技术之一。Hadoop的核心组件包括MapReduce和...
在Windows上使用Cygwin作为类Unix支撑环境来安装Hadoop， 网上介绍的还是比较多的。...其实，Hadoop环境搭建的主要内容是Cygwin的安装，估计要占总时间的2/3， 其它工作我会手把手的教你，come on，follow me！
4. 配置Hadoop环境是关键步骤，主要涉及以下几个文件： - `hadoop-env.sh`: 这个文件用于设置Hadoop相关的环境变量，如`JAVA_HOME`，应确保指向正确的JDK安装路径，例如`/home/tools/jdk1.8.0_221`。 - `hdfs-...
在本文中，我们将详细介绍如何在 CentOS 6.4 操作系统环境下搭建 Hadoop 2.5.0 全分布式环境。这是一个逐步过程，包括设置多台虚拟机、安装 JDK、配置 Hadoop 环境以及启动集群。 首先，我们需要准备三台能够无密码...
Hadoop环境搭建手册 Hadoop，作为开源的分布式计算框架，是云计算领域的重要组成部分，尤其在大数据处理上表现卓越。本手册将详细讲解如何搭建一个完整的Hadoop环境，包括所有基本信息，供读者参考并实操。 **...
hadoop环境搭建
hadoop环境搭建和eclipse开发
在搭建Hadoop环境的过程中，经常会遇到一些特定的依赖问题，比如缺少`hadoop.dll`和`winutils.exe`这两个关键组件。本文将详细介绍这两个文件及其在Hadoop生态系统中的作用，以及如何解决它们缺失的问题。 首先，`...
Hadoop环境搭建.pdf Hadoop环境搭建.pdf Hadoop环境搭建.pdf
hadoop 环境搭建、机器部署以及 Linux 常用命令操作指南 本指南将指导用户从头开始搭建 Hadoop 环境，包括虚拟机环境的准备、Linux 基础知识、shell 增强大数据集群环境准备、ZooKeeper 介绍及集群操作网络编程等...
### Hadoop环境搭建详解 #### 一、引言 随着大数据技术的发展，Hadoop作为大数据处理的核心框架之一，其重要性不言而喻。对于初学者来说，掌握Hadoop的基本安装与配置流程是非常重要的第一步。本文旨在提供一份...
### Linux环境下Hadoop环境搭建详解 #### 一、前言 在大数据处理领域，Hadoop是一个非常重要的开源框架，它能够高效地存储和处理大规模数据集。为了更好地理解和使用Hadoop，本文将详细介绍如何在Linux系统上搭建...
在集成Spring 3和Hadoop 0.2.0时，首先需要确保安装了Hadoop环境，并且配置好Hadoop的环境变量，包括HADOOP_HOME、HADOOP_CONF_DIR等。接着，我们需要在Spring的配置文件中添加Hadoop的相关配置，如HDFS的连接信息、...