今天在安装hadoop后,启动start-yarn.sh后,nodemanager起不起来,后来查看DN节点的日志,报了以下一个错误:
FATAL org.apache.hadoop.yarn.server.nodemanager.NodeManager: Error starting NodeManager java.lang.IllegalArgumentException: The ServiceName: mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid.The valid service name should only contain a-zA-Z0-9_ and can not start with numbers
解决办法:
修改yarn-site.xml文件:
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
是由于yarn.nodemanager.aux-services配置错误导致。
相关推荐
### CDH5 Hadoop发行版离线安装手册 #### 基本概念 **1.1 什么是CDH** CDH是由Cloudera公司提供的Hadoop发行版,它基于Apache Hadoop项目的核心组件进行增强和封装,提供了一个更加稳定、可靠、易于管理和使用的...
《CDH安装手册》是大数据领域的一份重要参考资料,主要针对Hadoop的安装与部署进行详细阐述。CDH,全称Cloudera Distribution Including Apache Hadoop,是由Cloudera公司提供的一个开源大数据平台,它包含了多个...
CDH_Hadoop_单机安装_集群安装_CDH-Hadoop-Install
### CDH5 Hadoop集群完全离线安装说明 #### 系统环境 - 操作系统:CentOS 6.5 64位 #### 必备软件与工具 - JDK 1.8.0.111 安装包 - 方法一:使用 `.rpm` 文件 `jdk-8u111-linux-x64.rpm` - 方法二:使用 `.tar....
CDH_hadoop安装汇总整理,基于CDH平台使用hadoop,本文亲自整理,没有坑。
在搭建Hadoop集群的过程中,使用CDH(Cloudera Distribution Including Apache Hadoop)是一个常见的选择,因为CDH提供了预编译的开源大数据组件,包括Hadoop、YARN等,简化了集群部署和管理。以下是对CDH搭建Hadoop...
在本文中,我们将深入探讨如何在Linux环境中安装Hadoop CDH5,这是一个广泛使用的Hadoop分发版,包含了多个开源大数据处理组件。CDH5提供了高效的数据存储、处理和分析功能,适合大规模数据处理场景。 首先,安装...
Centos6.7 + CDH5.4.5 HADOOP 集群环境离线安装
### CDH Hadoop官方安装指南知识点详解 #### 关于CDH Hadoop官方安装文档 **标题:“cdh hadoop官方安装文档”** 该文档由Cloudera公司发布,旨在为用户提供一套详尽、清晰的Hadoop集群安装指南。文档适用于初学...
所以自己就用cdh的hadoop源码编译了一遍,踩了很多坑。最终还是解决了,能在windows中调试mapreduce了。 ps:csdn上看到同样的资源 竟然要10分,下不起 下不起。只能自己做了,5分服务大众。。。
在本篇中,我们将探讨如何使用CM5和CDH5搭建Hadoop集群,包括安装过程、可能遇到的问题以及解决方案。CM5(Cloudera Manager 5)是Cloudera公司提供的一个管理工具,用于简化Hadoop集群的部署、管理和监控。而CDH5...
5. **启动集群**:启动CDH集群并确保所有服务正常运行。 #### 用户权限设置 需要创建特定用户来运行Cloudera Manager和Hadoop集群进程,以确保操作系统的安全性。 #### 注意事项 - **操作系统一致性**:集群中的...
通过Cloudera Manager进行CDH5的安装和配置,可以极大地简化Apache Hadoop服务的部署工作,使得安装Hive、HBase、Impala和Spark等服务变得直观和高效。这个过程涉及到了集群的网络配置、主机的添加、服务的安装以及...
前言:想学习大数据开发,搭建大数据CDH_Hadoop集群是免不了的工作,这一步至关重要。而搭建CDH_Hadoop不是一件容易的事情,步骤很多,配置繁琐,这也是大数据门槛高的一个体现,很多新手都卡在这一关。经过实践和...
标题中的"hadoop-2.6.0-cdh5.14.2.tar.gz"是一个针对Apache Hadoop的软件包,具体来说是CDH(Cloudera Distribution Including Apache Hadoop)5.14.2版本,它基于Hadoop 2.6.0。CDH是由Cloudera公司提供的一个开源...
[root@localhost ~]# yum install -y cdh5-hadoop cdh5-hbase cdh5-hive ``` 4. **配置CDH**:安装完成后,需要配置各个组件的配置文件,包括`core-site.xml`, `hdfs-site.xml`, `yarn-site.xml`, `mapred-site....
(CDH5.13.1)hadoop集群搭建手册,搭建流程都有包括,强烈推荐
Centos 7安装配置Hadoop生态圈CDH5版本 其中包括hadoop hbase hive spark 等组件安装
【CDH详细安装教程】 CDH(Cloudera Hadoop)是由Cloudera公司提供的一个开源Hadoop生态集群软件,它包含了一系列大数据处理组件,如Hadoop、Spark等。Cloudera Manager(CM)是CDH的核心管理工具,提供了一个直观...