`
justinyao
  • 浏览: 40492 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

cloudera manager安装问题记录二

 
阅读更多

问题一

IOException thrown while collecting data from host: No route to host

 因为agent机器开启了防火墙

解决:

 service iptables stop

 

 

问题二

在以下主机上,组 'hadoop' 不包括用户 'hdfs': 

解决:

usermod -a -G hadoop hdfs

 

 

问题三

Initialization failed for block pool Block pool BP-470954207-10.108.74.237-1392171421251 (storage id ) service to osslpc7/10.108.74.237:8022
org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /opt/dfs/dn is in an inconsistent state: cluster Id is incompatible with others.
	at org.apache.hadoop.hdfs.server.common.Storage.setClusterId(Storage.java:1065)
	at org.apache.hadoop.hdfs.server.datanode.DataStorage.setFieldsFromProperties(DataStorage.java:305)
	at org.apache.hadoop.hdfs.server.common.Storage.readProperties(Storage.java:916)
	at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:372)
	at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:191)
	at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:219)
	at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:916)
	at org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:887)
	at org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo(BPOfferService.java:309)
	at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:218)
	at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:660)
	at java.lang.Thread.run(Thread.java:722)

 

解决:

rm -fr /opt/dfs/dn/

 

 

分享到:
评论

相关推荐

    Cloudera Manager6.2.1及CDH最新版本安装全程记录

    Cloudera Manager6.2.1

    cdh7.5 cloudera manager 安装全套软件和视频推荐

    2. **软件安装**:首先安装Cloudera Manager Server 和 Agent,然后通过Cloudera Manager界面安装CDH软件包。 3. **网络配置**:合理规划网络架构,确保各节点之间能够顺畅通信。 4. **安全配置**:启用SSL/TLS...

    Cloudera Manager API v14 中文

    ### Cloudera Manager API v14 关键知识点 #### 一、概述 Cloudera Manager API v14 是用于管理 Cloudera Data Platform (CDP) 和其他 Cloudera 产品的强大工具。它允许管理员通过 API 调用来监控、管理和配置集群...

    Cloudera Manager一步步详细部署文档(离线parcels存储库方式)

    Cloudera Manager安装手册(离线parcels存储库方式),基于CentOS操作系统一步步傻瓜式安装,截图记录整个部署过程。带集群功能验证,检查集群是否正常工作 目录 一、文档内容 3 二、软硬件环境 3 2.1.软件信息 3 ...

    Cloudera Manager安装手册(离线parcels存储库方式)

    Cloudera Manager安装手册(离线parcels存储库方式),基于CentOS操作系统一步步傻瓜式安装,截图记录整个部署过程。

    最新Cloudera Manager中文手册

    审计事件是Cloudera Manager记录的服务、角色和主机的生命周期事件,如创建角色或服务、修改角色或服务配置、退役主机和运行Cloudera Manager管理服务命令等。系统管理员可以通过管理员终端查看,界面提供了按时间...

    ClouderaManager 管理手册 中文版

    Cloudera Manager支持集群安装和集群配置,可以自动化整个部署过程,从而极大地缩短Hadoop集群的部署时间。此外,Cloudera Manager提供了一个集中的中央控制台,管理员可以通过这个控制台来管理集群,包括安装软件、...

    Ubuntu14.04在线安装Cloudera Manager集群部署

    ### Ubuntu14.04在线安装Cloudera Manager集群部署 #### 一、环境准备与基础知识 在开始之前,我们先来了解下整个部署过程所涉及的一些基础概念和技术要点。 - **Ubuntu 14.04**: 一种广泛使用的开源操作系统,...

    cloudera-manager-server-db-2-6.0.1-610811.el7.x86_64.zip

    db-2-6.0.1-610811.el7.x86_64.zip"这个压缩包中,我们可以看到"cloudera-manager-server-db-2-6.0.1-610811.el7.x86_64.rpm"文件,这是一个针对Red Hat Enterprise Linux 7(x86_64架构)的RPM软件包,用于安装和...

    CLOUDERA-Manager-中文手册---实战总结

    - **服务端/Server**:Cloudera Manager的核心组件,负责安装、配置和管理集群。 - **代理/Agent**:安装在每台主机上的组件,负责执行具体的管理操作。 - **数据库/Database**:存储集群的配置信息和监控数据。 - *...

    Cloudera CDH 安装和配置文档

    #### 3.3 Apache2安装和配置 Apache HTTP服务器需要安装并配置以便用作Cloudera Manager的HTTP服务器。这包括下载CDH Manager和Parcel(Cloudera特有的包管理格式),然后配置Apache2以加载CDH资源库。 #### 3.4 ...

    Cloudera的yarn任务监控api

    例如,可以查询作业的输入输出记录数、当前运行的任务、失败的任务等。而MR History Server API则用于检索作业历史,这对于故障排查和性能分析非常有用。 在实际应用中,开发者通常会结合YARN和MapReduce的API来...

    cloudera-operation官方文档

    - **故障排除**:Cloudera Manager提供了详尽的日志记录和诊断工具,帮助快速定位问题根源,提高故障排除效率。 - **自定义报警**:支持自定义报警规则,当某些指标超出预设阈值时自动发送通知,确保及时响应异常...

    cdh6.3.2 离线安装5个所需文件及安装小笔记

    在CDH6.3.2中,可能需要单独下载Flink的二进制包,并通过Cloudera Manager进行安装和配置。Flink与Hadoop生态系统中的其他组件结合,可以为实时数据分析和流处理提供强大支持。 离线安装CDH6.3.2需要对Linux系统、...

    Centos7+CDP7.1.1安装部署

    14. **安装Cloudera Manager Server**:在manager.cdp节点上通过YUM安装Cloudera Manager Server,初始化数据库,然后启动服务,并检查服务状态和端口监听。 15. **访问CM创建集群**:在Web浏览器中访问Cloudera ...

    Cloudera大数据平台迁移方案.docx

    安装 Cloudera Enterprise 是迁移的最后一步,需要安装 Cloudera Enterprise 发行版的所有组件,包括 CDH、Cloudera Manager 等。 Cloudera 大数据平台迁移方案是指将现有的 Hadoop 集群从 Intel Hadoop 发行版迁移...

    cloudera5.4扩充磁盘

    这篇文章将记录一次 Cloudera 5.4 的磁盘扩充过程,旨在帮助读者更好地理解和掌握 Cloudera 的磁盘扩充技术。 磁盘扩充概述 在 Cloudera 5.4 中,磁盘扩充是指在现有的主机上添加新的磁盘空间,以满足不断增长的...

Global site tag (gtag.js) - Google Analytics