`
tangjunliang
  • 浏览: 109967 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

安装CDH5 hadoop2.2.0遇到的配置问题

阅读更多
hadoop版本: cloudera hadoop2.2 CDH5

    今天在安装hadoop后,启动start-yarn.sh后,nodemanager起不起来,后来查看DN节点的日志,报了以下一个错误:
 FATAL org.apache.hadoop.yarn.server.nodemanager.NodeManager: Error starting NodeManager  
java.lang.IllegalArgumentException: The ServiceName: mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid.The valid service name should only  
 contain a-zA-Z0-9_ and can not start with numbers 


解决办法:
修改yarn-site.xml文件:
<property>  
        <name>yarn.nodemanager.aux-services</name>  
        <value>mapreduce_shuffle</value>  
</property>  


是由于yarn.nodemanager.aux-services配置错误导致。

这个我有个纳闷点,在使用cloudera CDH4 hadoop2.0版本时,这个配置的值设置的是mapreduce.shuffle,而且查了这个值的默认就是这个,为什么在CDH5版本中变成了下划线不得而知。
分享到:
评论
1 楼 zenoh 2013-11-13  
是啊,我也纳闷,apache hadoop2.2.0的已经修复了这个bug,但是cdh5 hadoop2.2.0却还没有,不是说cdh5的bug修复优先于apache的版本吗

相关推荐

    spark-assembly-1.6.0-cdh5.9.2-hadoop2.6.0-cdh5.9.2.jar

    spark-assembly-1.6.0-cdh5.9.2-hadoop2.6.0-cdh5.9.2.jar

    大数据技术之CM6.3.1+CDH6.3.2 集成 Atlas2.2.0.pdf

    4. Atlas2.2.0中的Hadoop和Hive版本问题: Atlas2.2.0默认使用Hadoop 3.3.0和Hive 3.1.0版本,但是CDH6.3.2使用的是Hadoop 3.0.0和Hive 2.1.1版本。因此,需要修改Atlas2.2.0的源码,以便与CDH6.3.2集成。 5. Java...

    spark-2.2.0-bin-2.6.0-cdh5.14.0.tgz

    这个"spark-2.2.0-bin-2.6.0-cdh5.14.0.tgz"压缩包是Spark的一个特定版本,用于与Cloudera Distribution Including Apache Hadoop (CDH) 5.14.0兼容。CDH是Cloudera公司提供的一个全面、集成、管理的Hadoop堆栈,...

    spark-2.2.0-bin-2.6.0-cdh5.7.0.tg

    spark-2.2.0-bin-2.6.0-cdh5.7.0.tg 由:Java需要7+版本,而且在Spark2.0.0之后Java 7已经被标识成deprecated了,但是不影响使用,但是在Spark2.2.0版本之后Java 7的支持将会被移除;...hadoop2.6.0cdh5.7.0

    基于cdh6.3.2 apache-atlas-2.2.0,完整编译打包

    压缩包中的"apache-atlas-2.2.0"包含了所有必要的二进制文件、配置文件、脚本等,用于安装和运行Apache Atlas服务。 总结来说,Apache Atlas 2.2.0在CDH 6.3.2中的应用,为大数据环境提供了全面的元数据管理和治理...

    spark-2.2.0-bin-2.6.0-cdh5.7.0.tgz

    windows系统手动编译spark-2.2.0-bin-2.6.0-cdh5.7.0.tgz apache-maven-3.3.9-bin.tar.gz hadoop-2.6.0-cdh5.7.0.tar.gz jdk-8u91-linux-x64.tar.gz scala-2.11.8.tgz

    hadoop-auth-2.6.0.jar

    hadoop连接相关jar包

    spark-2.2.1-bin-2.6.0-cdh5.14.2.tar.gz

    4. 配置Spark的Hadoop相关属性,确保它能正确地与CDH中的HDFS、YARN等组件通信。 5. 可以通过`spark-shell`或`pyspark`启动交互式环境,或者编写Spark应用程序并使用`spark-submit`提交到集群上运行。 在实际应用中...

    Hadoop技术-Hadoop概述.pptx

    2013年,Hadoop发布2.2.0版本。2016年,Hadoop发布Hadoop3.0-alpha版本。 Hadoop有三个大发行版本:Apache Hadoop、Cloudera CDH和Hortonworks HDP。Apache Hadoop提供基础版本。Cloudera CDH完全开源,比Apache ...

    (word完整版)windows下非submit-方式运行spark-on-yarn(CDH集群).doc

    - **Spark环境**:下载Spark 2.2.0并配置SPARK_HOME,该版本与CDH集群的Spark 2.2.0兼容。 2. **CDH集群配置**: - 在CDH 5.13集群上,需要添加Spark 2.2.0的服务,因为默认集成的是Spark 1.6。为此,需要下载...

    spark2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el6.zip

    ".parcel"文件是Cloudera的部署单位,包含可分发的软件组件,"SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el6.parcel"即是Spark 2.4.0的 parcel 文件,用于在CDH集群中安装和管理Spark。".parcel.sha"文件是...

    HDFS HA和Federation安装部署方法

    - **Apache Hadoop 2.2.0 或更高版本**:或CDH 4及以上版本。 - **JDK 1.6 或更高版本**:对于CDH 5,需要JDK 7。 #### 修改配置文件 HDFS HA的关键配置位于`hdfs-site.xml`文件中。以下是一些重要的配置参数: - ...

    SparkStreaming:Spark Streaming + Flume + Kafka + HBase + Hadoop + Zookeeper实现实时日志分析统计; SpringBoot + Echarts实现数据可视化展示

    避免流式传输前言:使用scala和java混编完成,其中也涉及到python脚本来自动生成日志,linux crontab调度工具来定时执行...hadoop-2.6.0-cdh5.7.0 hbase-1.2.0-cdh5.7.0 zookeeper-3.4.5-cdh5.7.0 spark-2.2.0-bin-2.6

    性能测试工具所引用的hbase依赖包

    除了提供hbase 1.0.0的jar包,本次还提供了hadoop-common-2.2.0-bin-master,用于在Windows下调用hadoop组件 本依赖包在Loadrunner12+jdk1.7.0_67,和Jmeter3.1+jdk1.8.0_112环境下调试通过 说明:如果想关注...

    KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel

    "parcel"是一种软件分发格式,通常在Cloudera CDH(Cloudera Distribution Including Apache Hadoop)中使用,它允许快速部署和管理大数据相关的服务,如Kafka。 Apache Kafka是一款分布式流处理平台,由LinkedIn...

Global site tag (gtag.js) - Google Analytics