`
weitao1026
  • 浏览: 1032906 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

使用CDH的hadoop里面有对应的组件Pig,但版本较低

阅读更多

1,使用CDH的hadoop里面有对应的组件Pig,但版本较低,所以放弃使用了,直接下载
Apache Pig0.15最新的版本(支持Tez,比Hive更容易集成)
下载地址:http://archive.apache.org/dist/pig/pig-0.15.0/pig-0.15.0.tar.gz
直接下载二进制包即可

2,配置Pig的环境变量如下:
#Pig
export PIG_HOME=/ROOT/server/pig
export PIG_CLASSPATH=$HADOOP_HOME/etc/hadoop 
export PATH=/ROOT/server/pig/bin:$PATH
3,直接执行pig命令,启动程序,会报如下异常
[main]ERROR org.apache.pig.Main -ERROR 2998:Unhandled internal error.Found interface jline.Terminal,but class was expected

原因是由于jline这个包和hadoop的yarn/lib下面的jline的包不一致造成的。
可参考:https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark%3A+Getting+Started里面的解释

解决方法:

删掉hadoop的yarn/lib下的那个jline版本较高的包,将pig/lib下的jline-1.0.jar包拷贝到yarn/lib下,然后
重新执行pig命令,可正常启动。





然后执行一个pig脚本写的MapReduce作业,发现会报如下异常,但是MR作业是跑成功的:




原因是,Hadoop的jobhistroy进程没有启动。
解决办法:
执行sbin/mr-jobhistory-daemon.sh start historyserver 命令,启动日志守护进程

然后再次跑pig作业,一切正常 !

分享到:
评论

相关推荐

    使用IDEA工具连接CDH集群里面的hive组件

    "使用IDEA工具连接CDH集群里面的hive组件" 使用IDEA工具连接CDH集群里面的hive组件是数据开发中的一项重要任务。本文将详细介绍如何使用IDEA工具连接CDH集群里面的hive组件,包括建立java工程项目、添加hive开发的...

    cdh hadoop官方安装文档

    这一章节概述了CDH4版本相较于早期版本的一些新功能和改进点。这些新特性包括但不限于性能优化、安全增强、新组件集成等。对于已有Hadoop使用经验的用户而言,了解这些变化有助于他们更好地评估升级至CDH4的必要性和...

    hadoop-2.6.0-cdh5.7.0版本.zip

    这里的“hadoop-2.6.0-cdh5.7.0版本”指的是Cloudera的Hadoop发行版,CDH(Cloudera Distribution Including Apache Hadoop)5.7.0中的Hadoop组件为2.6.0版本。这个版本包含了Hadoop生态系统中的多个关键组件,如...

    hadoop之cdh

    CDH是由Cloudera公司提供的一个企业级Hadoop发行版,它集成了Hadoop生态系统的多个组件,并提供了强大的管理和监控工具。本指南将重点介绍HDFS(Hadoop Distributed File System)的高可用性配置。 #### 配置HDFS高...

    CDH安装手册.rar_cdH_hadoop_hadoop安装手册_大数据_安装部署

    《CDH安装手册》是大数据领域的一份重要参考资料,主要针对Hadoop的安装与部署进行详细阐述。CDH,全称Cloudera Distribution Including Apache Hadoop,是由Cloudera公司提供的一个开源大数据平台,它包含了多个...

    hadoop-2.6.0.tar.gz&hadoop-2.6.0-cdh5.16.2.tar.gz

    CDH是业界广泛采用的企业级Hadoop发行版,它不仅集成了Hadoop的核心组件,还包含了其他的开源大数据项目,如Hive、Pig、Spark、Impala等,提供了一整套大数据处理和分析解决方案。CDH 5.16.2是CDH系列的一个重要更新...

    大数据cdh组件

    大数据CDH组件是Cloudera Distribution Including Apache Hadoop(CDH)的核心组成部分,它是一个全面、经过企业级优化的大数据处理平台。CDH是基于Apache Hadoop生态系统,旨在提供一个集成化、统一的环境,方便...

    cloudera hadoop cdh4.3版本安装

    在本文中,我们将深入探讨如何在CentOS 6.2环境下安装Cloudera's Hadoop Distribution (CDH) 4.3版本。CDH是Cloudera公司提供的一款开源大数据处理平台,它集成了Hadoop生态系统中的多个组件,如Hadoop、Zookeeper和...

    CDH搭建hadoop流程.doc

    在搭建Hadoop集群的过程中,使用CDH(Cloudera Distribution Including Apache Hadoop)是一个常见的选择,因为CDH提供了预编译的开源大数据组件,包括Hadoop、YARN等,简化了集群部署和管理。以下是对CDH搭建Hadoop...

    hadoop-2.6.0-cdh5.7.0.tar.gz

    CDH(Cloudera Distribution Including Apache Hadoop)是Cloudera公司对Hadoop生态系统的商业发行版,CDH5.7.0则是这个发行版的一个特定版本,它集成了多个开源组件,如HDFS、MapReduce、YARN等,并且进行了优化和...

    hadoop-2.6.0-cdh5.15.2编译版本(CentOS 7.3)

    带编译所需的maven库,hadoop-2.6.0-cdh5.15.2在CentOS Linux release 7.3.1611重新编译的版本

    hadoop-2.6.0-cdh5.14.2.tar.gz

    "hadoop-2.6.0-cdh5.14.2.tar.gz" 是一个针对Hadoop的特定版本的压缩包,包含了在CDH(Cloudera Distribution Including Apache Hadoop)5.14.2环境下运行的Hadoop 2.6.0的所有组件和依赖。 Hadoop 2.6.0是Hadoop...

    hadoop cdh5安装

    在本文中,我们将深入探讨如何在Linux环境中安装Hadoop CDH5,这是一个广泛使用的Hadoop分发版,包含了多个开源大数据处理组件。CDH5提供了高效的数据存储、处理和分析功能,适合大规模数据处理场景。 首先,安装...

    CDH5Hadoop发行版离线安装手册.docx

    CDH是由Cloudera公司提供的Hadoop发行版,它基于Apache Hadoop项目的核心组件进行增强和封装,提供了一个更加稳定、可靠、易于管理和使用的Hadoop平台。与其他Hadoop发行版如Hortonworks的HDPS相比,CDH以其丰富的...

    hadoop eclipse插件 cdh3版本

    hadoop eclipse插件 cdh3版本

    hadoop cdh5 centos 64位系统本地库编译文件

    1. **Hadoop CDH5**:CDH5是Hadoop的一个企业级分发版本,包含了多个关键组件,如Hadoop MapReduce、HDFS、HBase、Hive、Pig等。它提供了一套完整的数据处理解决方案,支持大数据的存储、计算和分析。 2. **CentOS*...

    hadoop2.6.0-cdh5.14.0 源码

    hadoop-2.6.0-cdh5.14.0 源码 。

    Centos 7安装配置Hadoop生态圈CDH5版本

    Centos 7安装配置Hadoop生态圈CDH5版本 其中包括hadoop hbase hive spark 等组件安装

Global site tag (gtag.js) - Google Analytics