注意检查ambari-server和ambari-agent两个日志文件
直接参考 https://community.hortonworks.com/questions/121978/openssl-compatibility.html?childToView=138080#answer-138080
在部署集群时遇到Host checks were skipped on 4 hosts that failed to register.
进度条全部failed。
使用如下命令查看日志,并未发现有报错
cat /var/log/ambari-server/ambari-server.log
仅出现如下(摘自https://www.cnblogs.com/barneywill/p/10273687.html
2019-01-15 12:03:45,452 INFO [ambari-client-thread-44] AmbariMetaInfo:1430 - Stack HDP-2.0 is not active, skipping VDF
2019-01-15 12:03:45,452 INFO [ambari-client-thread-44] AmbariMetaInfo:1430 - Stack HDP-2.0.6 is not active, skipping VDF
2019-01-15 12:03:45,452 INFO [ambari-client-thread-44] AmbariMetaInfo:1430 - Stack HDP-2.0.6.GlusterFS is not active, skipping VDF
2019-01-15 12:03:45,452 INFO [ambari-client-thread-44] AmbariMetaInfo:1430 - Stack HDP-2.1 is not active, skipping VDF
2019-01-15 12:03:45,452 INFO [ambari-client-thread-44] AmbariMetaInfo:1430 - Stack HDP-2.1.GlusterFS is not active, skipping VDF
2019-01-15 12:03:45,452 INFO [ambari-client-thread-44] AmbariMetaInfo:1430 - Stack HDP-2.2 is not active, skipping VDF
2019-01-15 12:03:45,453 INFO [ambari-client-thread-44] AmbariMetaInfo:1430 - Stack HDP-2.3 is not active, skipping VDF
2019-01-15 12:03:45,453 INFO [ambari-client-thread-44] AmbariMetaInfo:1430 - Stack HDP-2.3.ECS is not active, skipping VDF
2019-01-15 12:03:45,453 INFO [ambari-client-thread-44] AmbariMetaInfo:1428 - Stack HDP-2.3.GlusterFS is not valid, skipping VDF: The service 'OOZIE' in stack 'HDP:2.3.GlusterFS' extends a non-existent service: 'common-services/OOZIE/5.0.0.2.3'
我自己的log已被覆盖
并提示如下,说明集群并没有被创建。
INFO [pool-18-thread-1] AmbariMetricSinkImpl:95 - No clusters configured.
照着上面的博客对着metainfo.xml文件进行修改,将false改为true,重启ambari-server后,卡在了preparing阶段
/var/lib/ambari-server/resources/stacks/HDP/$version/metainfo.xml
cat /var/lib/ambari-server/resources/stacks/HDP/2.6/metainfo.xml
<metainfo>
<versions>
<active>false</active>
</versions>
<extends>2.5</extends>
<minJdk>1.7</minJdk>
<maxJdk>1.8</maxJdk>
</metainfo>
查看日志后发现
28 三月 2019 14:16:53,750 INFO [Thread-36] BSRunner:372 - Error executing bootstrap Cannot create /var/run/ambari-server/bootstrap/1
28 三月 2019 14:16:53,750 ERROR [Thread-36] BSRunner:441 - java.io.FileNotFoundException: /var/run/ambari-server/bootstrap/1/hdpmaster.done (没有那个文件或目录)
28 三月 2019 14:16:53,750 WARN [Thread-36] BSRunner:401 - File does not exist: /var/run/ambari-server/bootstrap/1/sshKey
照着网上的方法手动创建相关文件和文件夹后,无果
//此时我已经创建了前4个文件夹
28 三月 2019 14:16:53,750 INFO [Thread-36] BSRunner:372 - Error executing bootstrap Cannot create /var/run/ambari-server/bootstrap/5
28 三月 2019 14:16:53,750 ERROR [Thread-36] BSRunner:441 - java.io.FileNotFoundException: /var/run/ambari-server/bootstrap/5/hdpmaster.done (没有那个文件或目录)
28 三月 2019 14:16:53,750 WARN [Thread-36] BSRunner:401 - File does not exist: /var/run/ambari-server/bootstrap/5/sshKey
索性重置了ambari-server,在看到https://www.oschina.net/question/2956577_2201031
这篇博客时,发现自己漏查了ambari-agent的日志,使用如下命令进入ambari-agent(与server在同一个文件夹下)
cat ambari-agent.log
//发现该报错
INFO 2019-03-28 15:46:41,820 NetUtil.py:70 - Connecting to https://hdpmaster:8440/ca
ERROR 2019-03-28 15:46:41,826 NetUtil.py:96 - EOF occurred in violation of protocol (_ssl.c:618)
ERROR 2019-03-28 15:46:41,826 NetUtil.py:97 - SSLError: Failed to connect. Please check openssl library versions.
Refer to: https://bugzilla.redhat.com/show_bug.cgi?id=1022468 for more details.
WARNING 2019-03-28 15:46:41,827 NetUtil.py:124 - Server at https://hdpmaster:8440 is not reachable, sleeping for 10 seconds...
参考https://community.hortonworks.com/questions/121978/openssl-compatibility.html?childToView=138080#answer-138080
发现是因为centos7自带的python版本高于2.7.5,会诱发该ssl错误
解决方法:1.将机器自带的python版本降低于2.7.5
2.使用如下命令,在ambari-agent.ini的security底下添加和在.cfg的https底下添加(针对所有节点)
vi /etc/ambari-agent/conf/ambari-agent.ini
[security]
force_https_protocol=PROTOCOL_TLSv1_2
vi /etc/python/cert-verification.cfg
[https]
verify=disable
问题解决
————————————————
版权声明:本文为CSDN博主「Cytues」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/qq_41805514/java/article/details/88871477
相关推荐
安装HDP集群干货
Ambari2.75安装及HDP3.1.5集群搭建的文档为我们详细介绍了在Linux系统中部署Ambari和HDP集群的准备工作与步骤。以下知识点将根据给定文件中提及的内容进行展开: ### 系统环境准备 在安装Ambari之前,需要对系统...
在安装HDP集群时,Ambari会提供一个Web界面,方便用户通过向导来完成整个安装和配置过程。 总之,HDP是一个功能强大、支持全面的大数据处理平台,它不仅提供了企业级的稳定性和安全性,还支持多种部署环境,并且在...
3 安装HDP 3.1 安装数据库(mysql与达梦dm) 3.2 部署Ambari-server 3.3 部署Hadoop集群 3.4 部署HBase 3.5 部署Hive + Tez 3.6 部署Spark 3.7 部署Kafka 3.8 部署Oozie 3.9 部署Ranger 3.10 部署Sqoop 3.11 部署 ...
该文档是介绍hortonworks hdp2.6.5集群安装hue. ,请贡献给大家下载!
1.关于注册失败错误,查看log: ============= INFO 2017‐09‐21 10:52:33,435 security.py:178 ‐ Server certificate not exists, downloading INFO 2017‐09‐21 10:52:33,435 security.py:191 ‐...
本文档详细介绍了如何在RHEL 7.5 x64环境下部署HDP-2.6.4大数据集群,包括系统环境初始化、Ambari管理器安装、HDP集群安装、NameNodeHA和YARNHA配置等关键步骤。通过遵循这些步骤,可以构建一个稳定、高效的大数据...
手把手视频详细讲解项目开发全过程,需要的小伙伴自行百度网盘下载,链接见附件,永久有效。 课程简介 从零学习HDP集群环境的安装和配置,通过一步步的实操和讲解带领学生掌握...3、通过HDP管理控制台安装部署集群组件
《HDP大数据集群安装手册》全面解析 在大数据领域,Hadoop Distributed File System (HDFS) 和相关的组件构成了处理海量数据的核心基础设施。HDP(Hortonworks Data Platform)是其中一款广泛采用的大数据平台,它...
Hadoop作为大数据处理的核心组件,包括HDFS(Hadoop Distributed File System)和MapReduce等模块,构建一个Hadoop集群通常涉及多台服务器的配置、软件安装、服务启动和集群配置。通过Ansible,我们可以简化这个过程...
【HDP-2.6与Ranger安装配置】 在大数据处理和分析的环境中,权限管理和安全控制是至关重要的。HDP(Hortonworks Data Platform)是业界广泛采用的大数据平台,而Ranger则是HDP中提供的一套强大的安全组件,用于实现...
1. **配置Ambari**:启动Ambari服务器,根据向导配置集群信息,包括主机名、网络、服务选择等。 2. **安装HDP组件**:通过Ambari界面,选择需要安装的服务,如HDFS、YARN、MapReduce2、Hive、Oozie等。 3. **配置...
在HDP集群搭建完成后,确保所有节点都已正确配置并能够正常通信,接下来就可以使用Ambari来安装和管理HDP组件,包括HDFS、YARN、MapReduce等,以及添加TensorFlowOnSpark。记得在过程中检查日志,解决可能出现的问题...
HDP3.1.5.0+Ambari2.7.5安装部署(Centos7.2)所需的三台Ambari镜像
hdp一键部署脚本,打开one_key.sh参考HELP,修改hosts文件运行即可。具体参考lz博客《HDP一键配置》
### Centos7.2安装Ambari2.4.2+HDP2.5.3搭建Hadoop集群 #### 一、概述 本教程旨在详细阐述如何在Centos7.2环境中通过Ambari2.4.2安装并配置HDP2.5.3来搭建一个完整的Hadoop集群。Hadoop作为大数据处理的重要工具之...
接着,进行【网络配置】,即设置`/etc/hosts`文件,确保集群内的所有节点都能互相识别。这一步骤至关重要,因为它确保了节点间的通信畅通无阻。 【设置免密登陆】是另一个关键步骤,以简化不同节点之间的SSH通信。...
在遇到问题时,文档中提到的一些注意事项和解决方法可以帮助排除故障,确保HDP2.2集群的顺利安装。 这个过程虽然繁琐,但Ambari的自动化特性显著降低了管理和维护Hadoop集群的复杂性,使得企业能够更高效地利用...
6. **集群部署选项**:HDP 提供了最广泛的部署选项,支持从 Windows Server 或 Linux 到虚拟化和云部署的不同环境,拥有极高的可移植性。 #### 三、HDP 的安装配置要求 1. **Ambari 版本**:为了安装和管理 HDP ...