`
功夫小当家
  • 浏览: 186411 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hadoop3.0 HA 启动start-yarn.sh失败

阅读更多

问题描述:

    hadoop-3.0.0 搭建HA 启动start-yarn.sh脚本之后,ResourceManager并未启动

 

分析:

执行start-yarn.sh脚本启动yarn,log如下:


 

jps查看ResourceManger并没有启动起来,

查看启动脚本,发现需要配置yarn.resourcemanager.hostname.${id} 参数


 

在yarn-site.xml中配置一下,重启启动


 

jps查看,启动成功


 

对比hadoop-2.8.1中的strat-yarn.sh脚本,发现 hadoop-3.0中已经做了很多改变


 

  • 大小: 2.1 KB
  • 大小: 17 KB
  • 大小: 2.7 KB
  • 大小: 14.6 KB
  • 大小: 55.9 KB
0
0
分享到:
评论

相关推荐

    hadoop2.8.2版本 linxu

    5. **启动Hadoop服务**:使用以下命令启动HDFS和YARN: ``` sbin/start-dfs.sh sbin/start-yarn.sh ``` 6. **检查Hadoop状态**:通过以下命令确认Hadoop是否正确运行: ``` jps ``` 应该能看到Namenode、...

    11-Hadoop部署多机HDFS+HA+Federation+YARN1

    总之,成功部署Hadoop的HDFS HA+Federation+YARN涉及多步骤,包括配置文件的修改、各个节点服务的启动以及验证整个系统的正常运行。这个过程需要细心和耐心,但一旦完成,将提供一个高可用、可扩展的大数据处理平台...

    细细品味Hadoop(Hadoop安装及配置).rar_hadoop_细细品味Hadoop

    5. **启动Hadoop**:执行启动脚本,如`start-dfs.sh`和`start-yarn.sh`,启动HDFS和YARN服务。 6. **验证安装**:通过`jps`命令检查各个进程是否正常运行,如Namenode、Datanode、ResourceManager、NodeManager等。...

    hadoop3.0+工具

    - 启动Hadoop服务:运行`start-dfs.sh`和`start-yarn.sh`启动HDFS和YARN。 4. **Eclipse集成Hadoop开发**: - 安装Eclipse插件:例如,Hadoop插件HDInsight Tools可以帮助开发者在Eclipse中编写、调试Hadoop ...

    hadoop2.x集群搭建.txt(hdfs和yarn貌似正常,但mapreduce 提交job执行失败,请看我的另一个资源,另一个搭建是成功的)

    - 启动HDFS:`hadoop-daemon.sh start namenode`、`start-dfs.sh`。 - 启动YARN:`start-yarn.sh`。 #### 五、Hadoop高可用配置 Hadoop 2.x引入了高可用机制,通过NameNode的主备模式以及ResourceManager的故障...

    Hadoop-2.8.1+Zookeeper-3.4.6(HDFS,YARN HA)部署指南

    - **Hadoop**:在主节点(hadoop001)上执行`$HADOOP_HOME/sbin/start-all.sh`,并在副节点(hadoop002)上执行`$HADOOP_HOME/sbin/yarn-daemon.sh start resourcemanager`以及`$HADOOP_HOME/sbin/mr-jobhistory-daemon....

    Hadoop-2.0.0-cdh4.3.0安装手册.

    3. **启动YARN**:启动YARN的ResourceManager和NodeManager,使用`start-yarn.sh`。 完成以上步骤后,你应该已经成功安装并启动了Hadoop-2.0.0-cdh4.3.0集群。接下来,你可以开始进行数据导入、MapReduce任务编写和...

    hadoop_HA版本的配置

    分发配置文件到所有节点后,运行`start-yarn.sh`启动YARN服务,并使用`yarn-daemon.sh start resourcemanager`启动ResourceManager。 12. **测试HA**: 验证所有进程是否正常运行,通过Web UI检查HDFS和YARN的...

    hadoop2.7.2HA集群安装

    - 执行`start-yarn.sh`启动YARN。 #### 六、验证集群状态 - 使用`jps`命令检查各节点上的进程是否正常运行。 - 通过Web界面(如http://cancer01:50070)监控集群状态和性能指标。 #### 七、常见问题与解决方案 ...

    手动搭建hadoop高可用

    [root@namenode hadoop-2.7.3]# sbin/hadoop-daemon.sh start namenode ``` - **启动DataNode**:启动Hadoop集群的DataNode服务。 ```bash [root@namenode hadoop-2.7.3]# sbin/hadoop-daemon.sh start ...

    Hadoop分布式部署配置文件

    配置完成后,需通过`start-dfs.sh`和`start-yarn.sh`脚本启动Hadoop服务。`hadoop dfsadmin -report`和`yarn node -list`命令可以查看集群状态。 8. **安全性与HA** 对于生产环境,通常还需要考虑安全性配置,如...

    hadoop linux

    可以使用`start-dfs.sh`和`start-yarn.sh`脚本进行启动。然后,通过Web界面监控Hadoop集群的状态,NameNode的地址通常是`http://<namenode_host>:50070`,ResourceManager的是`http://<resourcemanager_host>:8088`...

    Hadoop集群的使用与管理.pdf

    例如,启动NameNode使用`hadoop-daemon.sh start namenode`,DataNode使用`hadoop-daemon.sh start datanode`,而ResourceManager则使用`yarn-daemon.sh start resourcemanager`。 对于ZooKeeper,需要通过`zk...

    hadoop2安装和常用shell命令

    $ ./yarn-daemon.sh start resourcemanager ``` 3. **启动DataNode和NodeManager**(在每个DataNode上执行): - 在DataNode节点上启动DataNode和NodeManager: ```bash $ ./hadoop-daemon.sh start datanode ...

    hadoop分布式配置.docx

    完成上述配置后,可以使用`sbin/start-dfs.sh`或`sbin/start-all.sh`命令启动Hadoop集群,并在每台虚拟机上执行`jps`命令来检查进程是否正常启动。在主节点上应能看到三个进程启动:Namenode、SecondaryNamenode和...

    Hadoop集群的使用与管理.docx

    hadoop-daemon.sh start namenode hadoop-daemon.sh start datanode ``` #### 2. 启动JournalNode JournalNode在高可用(HA)设置中扮演关键角色,用于存储HDFS的edits日志,确保NameNode之间的数据同步。在`hdfs-...

    第3章hadoop伪分布式环境的搭建.docx

    - **启动Hadoop服务**:使用`start-dfs.sh`和`start-yarn.sh`脚本启动Hadoop的各个服务。 5. **验证安装** - **检查Hadoop状态**:通过Web UI或命令行工具,如`jps`,确认Hadoop进程是否正常运行。 6. **运行...

    CentOS上搭建Hadoop2.5.2_CentOS搭建hadoop_云计算_源码

    - 启动DataNode、NameNode、ResourceManager、NodeManager和Secondary NameNode等服务,使用`start-dfs.sh`和`start-yarn.sh`命令。 11. **验证安装**: - 访问Web UI(http://localhost:50070/ 和 ...

    Hadoop HA集群启动.docx

    分别在Active和Standby节点上启动ResourceManager,使用`yarn-daemon.sh start resourcemanager`命令。 2. **启动NodeManager**: 在集群的所有节点上启动NodeManager,以处理Container的生命周期管理和资源报告...

Global site tag (gtag.js) - Google Analytics