`

安装配置部署HDP集群进行到confirm hosts时出现注册失败的解决方法

 
阅读更多

注意检查ambari-server和ambari-agent两个日志文件

 

直接参考 https://community.hortonworks.com/questions/121978/openssl-compatibility.html?childToView=138080#answer-138080

 

在部署集群时遇到Host checks were skipped on 4 hosts that failed to register.

 

进度条全部failed。

 

使用如下命令查看日志,并未发现有报错

 

cat /var/log/ambari-server/ambari-server.log

仅出现如下(摘自https://www.cnblogs.com/barneywill/p/10273687.html

 

2019-01-15 12:03:45,452 INFO [ambari-client-thread-44] AmbariMetaInfo:1430 - Stack HDP-2.0 is not active, skipping VDF

2019-01-15 12:03:45,452 INFO [ambari-client-thread-44] AmbariMetaInfo:1430 - Stack HDP-2.0.6 is not active, skipping VDF

2019-01-15 12:03:45,452 INFO [ambari-client-thread-44] AmbariMetaInfo:1430 - Stack HDP-2.0.6.GlusterFS is not active, skipping VDF

2019-01-15 12:03:45,452 INFO [ambari-client-thread-44] AmbariMetaInfo:1430 - Stack HDP-2.1 is not active, skipping VDF

2019-01-15 12:03:45,452 INFO [ambari-client-thread-44] AmbariMetaInfo:1430 - Stack HDP-2.1.GlusterFS is not active, skipping VDF

2019-01-15 12:03:45,452 INFO [ambari-client-thread-44] AmbariMetaInfo:1430 - Stack HDP-2.2 is not active, skipping VDF

2019-01-15 12:03:45,453 INFO [ambari-client-thread-44] AmbariMetaInfo:1430 - Stack HDP-2.3 is not active, skipping VDF

2019-01-15 12:03:45,453 INFO [ambari-client-thread-44] AmbariMetaInfo:1430 - Stack HDP-2.3.ECS is not active, skipping VDF

2019-01-15 12:03:45,453 INFO [ambari-client-thread-44] AmbariMetaInfo:1428 - Stack HDP-2.3.GlusterFS is not valid, skipping VDF: The service 'OOZIE' in stack 'HDP:2.3.GlusterFS' extends a non-existent service: 'common-services/OOZIE/5.0.0.2.3'

我自己的log已被覆盖

 

并提示如下,说明集群并没有被创建。

 

INFO [pool-18-thread-1] AmbariMetricSinkImpl:95 - No clusters configured.

照着上面的博客对着metainfo.xml文件进行修改,将false改为true,重启ambari-server后,卡在了preparing阶段

 

/var/lib/ambari-server/resources/stacks/HDP/$version/metainfo.xml 

cat /var/lib/ambari-server/resources/stacks/HDP/2.6/metainfo.xml

 

<metainfo>

 

  <versions>

 

    <active>false</active>

 

  </versions>

 

  <extends>2.5</extends>

 

  <minJdk>1.7</minJdk>

 

  <maxJdk>1.8</maxJdk>

 

</metainfo>

查看日志后发现

 

28 三月 2019 14:16:53,750  INFO [Thread-36] BSRunner:372 - Error executing bootstrap Cannot create /var/run/ambari-server/bootstrap/1

28 三月 2019 14:16:53,750 ERROR [Thread-36] BSRunner:441 - java.io.FileNotFoundException: /var/run/ambari-server/bootstrap/1/hdpmaster.done (没有那个文件或目录)

28 三月 2019 14:16:53,750  WARN [Thread-36] BSRunner:401 - File does not exist: /var/run/ambari-server/bootstrap/1/sshKey

照着网上的方法手动创建相关文件和文件夹后,无果

 

//此时我已经创建了前4个文件夹

28 三月 2019 14:16:53,750  INFO [Thread-36] BSRunner:372 - Error executing bootstrap Cannot create /var/run/ambari-server/bootstrap/5

28 三月 2019 14:16:53,750 ERROR [Thread-36] BSRunner:441 - java.io.FileNotFoundException: /var/run/ambari-server/bootstrap/5/hdpmaster.done (没有那个文件或目录)

28 三月 2019 14:16:53,750  WARN [Thread-36] BSRunner:401 - File does not exist: /var/run/ambari-server/bootstrap/5/sshKey

索性重置了ambari-server,在看到https://www.oschina.net/question/2956577_2201031

 

这篇博客时,发现自己漏查了ambari-agent的日志,使用如下命令进入ambari-agent(与server在同一个文件夹下)

 

cat ambari-agent.log

 

//发现该报错

INFO 2019-03-28 15:46:41,820 NetUtil.py:70 - Connecting to https://hdpmaster:8440/ca

ERROR 2019-03-28 15:46:41,826 NetUtil.py:96 - EOF occurred in violation of protocol (_ssl.c:618)

ERROR 2019-03-28 15:46:41,826 NetUtil.py:97 - SSLError: Failed to connect. Please check openssl library versions. 

Refer to: https://bugzilla.redhat.com/show_bug.cgi?id=1022468 for more details.

WARNING 2019-03-28 15:46:41,827 NetUtil.py:124 - Server at https://hdpmaster:8440 is not reachable, sleeping for 10 seconds...

参考https://community.hortonworks.com/questions/121978/openssl-compatibility.html?childToView=138080#answer-138080

 

发现是因为centos7自带的python版本高于2.7.5,会诱发该ssl错误

 

解决方法:1.将机器自带的python版本降低于2.7.5

 

                  2.使用如下命令,在ambari-agent.ini的security底下添加和在.cfg的https底下添加(针对所有节点)

 

vi /etc/ambari-agent/conf/ambari-agent.ini

 

[security]

force_https_protocol=PROTOCOL_TLSv1_2

 

vi /etc/python/cert-verification.cfg 

 

[https] 

verify=disable

问题解决

————————————————

版权声明:本文为CSDN博主「Cytues」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。

原文链接:https://blog.csdn.net/qq_41805514/java/article/details/88871477

分享到:
评论

相关推荐

    HDP集群安装.pdf

    安装HDP集群干货

    Ambari2.75安装及HDP3.1.5集群搭建.pdf

    Ambari2.75安装及HDP3.1.5集群搭建的文档为我们详细介绍了在Linux系统中部署Ambari和HDP集群的准备工作与步骤。以下知识点将根据给定文件中提及的内容进行展开: ### 系统环境准备 在安装Ambari之前,需要对系统...

    HDP(hortonworks data platform)安装部署

    在安装HDP集群时,Ambari会提供一个Web界面,方便用户通过向导来完成整个安装和配置过程。 总之,HDP是一个功能强大、支持全面的大数据处理平台,它不仅提供了企业级的稳定性和安全性,还支持多种部署环境,并且在...

    hdp集群从0到1搭建

    3 安装HDP 3.1 安装数据库(mysql与达梦dm) 3.2 部署Ambari-server 3.3 部署Hadoop集群 3.4 部署HBase 3.5 部署Hive + Tez 3.6 部署Spark 3.7 部署Kafka 3.8 部署Oozie 3.9 部署Ranger 3.10 部署Sqoop 3.11 部署 ...

    hortonworks hdp2.6.5集群安装hue..docx

    该文档是介绍hortonworks hdp2.6.5集群安装hue. ,请贡献给大家下载!

    在虚拟机上,通过Ambari2.5部署HDP2.6集群

    1.关于注册失败错误,查看log: ============= INFO 2017‐09‐21 10:52:33,435 security.py:178 ‐ Server certificate not exists, downloading INFO 2017‐09‐21 10:52:33,435 security.py:191 ‐...

    Hadoop集群HDP-2.6.4的部署

    本文档详细介绍了如何在RHEL 7.5 x64环境下部署HDP-2.6.4大数据集群,包括系统环境初始化、Ambari管理器安装、HDP集群安装、NameNodeHA和YARNHA配置等关键步骤。通过遵循这些步骤,可以构建一个稳定、高效的大数据...

    全程实操从零学习掌握HDP集群视频教程

    手把手视频详细讲解项目开发全过程,需要的小伙伴自行百度网盘下载,链接见附件,永久有效。 课程简介 从零学习HDP集群环境的安装和配置,通过一步步的实操和讲解带领学生掌握...3、通过HDP管理控制台安装部署集群组件

    HDP大数据集群安装手册

    《HDP大数据集群安装手册》全面解析 在大数据领域,Hadoop Distributed File System (HDFS) 和相关的组件构成了处理海量数据的核心基础设施。HDP(Hortonworks Data Platform)是其中一款广泛采用的大数据平台,它...

    利用ansible 自动 安装Hadoop 集群

    Hadoop作为大数据处理的核心组件,包括HDFS(Hadoop Distributed File System)和MapReduce等模块,构建一个Hadoop集群通常涉及多台服务器的配置、软件安装、服务启动和集群配置。通过Ansible,我们可以简化这个过程...

    HDP-2.6—Ranger安装配置.doc

    【HDP-2.6与Ranger安装配置】 在大数据处理和分析的环境中,权限管理和安全控制是至关重要的。HDP(Hortonworks Data Platform)是业界广泛采用的大数据平台,而Ranger则是HDP中提供的一套强大的安全组件,用于实现...

    Centos6.5安装hdp.docx

    1. **配置Ambari**:启动Ambari服务器,根据向导配置集群信息,包括主机名、网络、服务选择等。 2. **安装HDP组件**:通过Ambari界面,选择需要安装的服务,如HDFS、YARN、MapReduce2、Hive、Oozie等。 3. **配置...

    hdp安装操作指引.docx

    在HDP集群搭建完成后,确保所有节点都已正确配置并能够正常通信,接下来就可以使用Ambari来安装和管理HDP组件,包括HDFS、YARN、MapReduce等,以及添加TensorFlowOnSpark。记得在过程中检查日志,解决可能出现的问题...

    HDP3.1.5.0+Ambari2.7.5安装部署(Centos7.2)所需的三台Ambari镜像

    HDP3.1.5.0+Ambari2.7.5安装部署(Centos7.2)所需的三台Ambari镜像

    hdp一键部署脚本

    hdp一键部署脚本,打开one_key.sh参考HELP,修改hosts文件运行即可。具体参考lz博客《HDP一键配置》

    Centos7.2安装Ambari2.4.2+HDP2.5.3搭建Hadoop集群

    ### Centos7.2安装Ambari2.4.2+HDP2.5.3搭建Hadoop集群 #### 一、概述 本教程旨在详细阐述如何在Centos7.2环境中通过Ambari2.4.2安装并配置HDP2.5.3来搭建一个完整的Hadoop集群。Hadoop作为大数据处理的重要工具之...

    使用HDP搭建并管理集群

    接着,进行【网络配置】,即设置`/etc/hosts`文件,确保集群内的所有节点都能互相识别。这一步骤至关重要,因为它确保了节点间的通信畅通无阻。 【设置免密登陆】是另一个关键步骤,以简化不同节点之间的SSH通信。...

    HDP2.2 ambari自动化安装

    在遇到问题时,文档中提到的一些注意事项和解决方法可以帮助排除故障,确保HDP2.2集群的顺利安装。 这个过程虽然繁琐,但Ambari的自动化特性显著降低了管理和维护Hadoop集群的复杂性,使得企业能够更高效地利用...

    Amabri 2.4安装HDP2.5(hadoop)

    6. **集群部署选项**:HDP 提供了最广泛的部署选项,支持从 Windows Server 或 Linux 到虚拟化和云部署的不同环境,拥有极高的可移植性。 #### 三、HDP 的安装配置要求 1. **Ambari 版本**:为了安装和管理 HDP ...

Global site tag (gtag.js) - Google Analytics