hadoop版本: cloudera hadoop2.2 CDH5
今天在安装hadoop后,启动start-yarn.sh后,nodemanager起不起来,后来查看DN节点的日志,报了以下一个错误:
FATAL org.apache.hadoop.yarn.server.nodemanager.NodeManager: Error starting NodeManager
java.lang.IllegalArgumentException: The ServiceName: mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid.The valid service name should only
contain a-zA-Z0-9_ and can not start with numbers
解决办法:
修改yarn-site.xml文件:
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
是由于yarn.nodemanager.aux-services配置错误导致。
这个我有个纳闷点,在使用cloudera CDH4 hadoop2.0版本时,这个配置的值设置的是mapreduce.shuffle,而且查了这个值的默认就是这个,为什么在CDH5版本中变成了下划线不得而知。
分享到:
相关推荐
spark-assembly-1.6.0-cdh5.9.2-hadoop2.6.0-cdh5.9.2.jar
4. Atlas2.2.0中的Hadoop和Hive版本问题: Atlas2.2.0默认使用Hadoop 3.3.0和Hive 3.1.0版本,但是CDH6.3.2使用的是Hadoop 3.0.0和Hive 2.1.1版本。因此,需要修改Atlas2.2.0的源码,以便与CDH6.3.2集成。 5. Java...
这个"spark-2.2.0-bin-2.6.0-cdh5.14.0.tgz"压缩包是Spark的一个特定版本,用于与Cloudera Distribution Including Apache Hadoop (CDH) 5.14.0兼容。CDH是Cloudera公司提供的一个全面、集成、管理的Hadoop堆栈,...
spark-2.2.0-bin-2.6.0-cdh5.7.0.tg 由:Java需要7+版本,而且在Spark2.0.0之后Java 7已经被标识成deprecated了,但是不影响使用,但是在Spark2.2.0版本之后Java 7的支持将会被移除;...hadoop2.6.0cdh5.7.0
压缩包中的"apache-atlas-2.2.0"包含了所有必要的二进制文件、配置文件、脚本等,用于安装和运行Apache Atlas服务。 总结来说,Apache Atlas 2.2.0在CDH 6.3.2中的应用,为大数据环境提供了全面的元数据管理和治理...
windows系统手动编译spark-2.2.0-bin-2.6.0-cdh5.7.0.tgz apache-maven-3.3.9-bin.tar.gz hadoop-2.6.0-cdh5.7.0.tar.gz jdk-8u91-linux-x64.tar.gz scala-2.11.8.tgz
hadoop连接相关jar包
2013年,Hadoop发布2.2.0版本。2016年,Hadoop发布Hadoop3.0-alpha版本。 Hadoop有三个大发行版本:Apache Hadoop、Cloudera CDH和Hortonworks HDP。Apache Hadoop提供基础版本。Cloudera CDH完全开源,比Apache ...
- **Spark环境**:下载Spark 2.2.0并配置SPARK_HOME,该版本与CDH集群的Spark 2.2.0兼容。 2. **CDH集群配置**: - 在CDH 5.13集群上,需要添加Spark 2.2.0的服务,因为默认集成的是Spark 1.6。为此,需要下载...
".parcel"文件是Cloudera的部署单位,包含可分发的软件组件,"SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el6.parcel"即是Spark 2.4.0的 parcel 文件,用于在CDH集群中安装和管理Spark。".parcel.sha"文件是...
避免流式传输前言:使用scala和java混编完成,其中也涉及到python脚本来自动生成日志,linux crontab调度工具来定时执行...hadoop-2.6.0-cdh5.7.0 hbase-1.2.0-cdh5.7.0 zookeeper-3.4.5-cdh5.7.0 spark-2.2.0-bin-2.6
除了提供hbase 1.0.0的jar包,本次还提供了hadoop-common-2.2.0-bin-master,用于在Windows下调用hadoop组件 本依赖包在Loadrunner12+jdk1.7.0_67,和Jmeter3.1+jdk1.8.0_112环境下调试通过 说明:如果想关注...
"parcel"是一种软件分发格式,通常在Cloudera CDH(Cloudera Distribution Including Apache Hadoop)中使用,它允许快速部署和管理大数据相关的服务,如Kafka。 Apache Kafka是一款分布式流处理平台,由LinkedIn...