`

hadoop格式化脚本

 
阅读更多

解决重新格式化HDFS文件系统后,导致NN和DN上的HDFS版本不一致问题。

脚本思路:

NN节点上格式化HDFS,然后将新生成的VERSION替换DN上的VERSION.

脚本:

#!/bin/bash

HADOOP_HOME="/home/hadoop"

/home/hadoop/hadoop/bin/hadoop namenode -format

namespaceid=`cat  $HADOOP_HOME/hadoop-datastore/hadoop-hadoop/dfs/name/current/VERSION  |grep namespaceID|awk -F = '{print $2}'`

for i in  `cat /home/hadoop/hadoop/conf/slaves`

do

ssh $i "sed  -i 's/namespaceID=.*/namespaceID=${namespaceid}/g' /home/hadoop/hadoop-datastore/hadoop-hadoop/dfs/data/current/VERSION

"

done

分享到:
评论

相关推荐

    hadoop集群安装脚本

    6. **格式化NameNode**:首次启动前,需要对NameNode进行格式化,初始化HDFS元数据。 7. **启动服务**:通过脚本启动Hadoop和Zookeeper服务,检查各个节点的运行状态,确保所有服务正常运行。 8. **测试集群**:...

    hadoop全分布式-脚本一键安装

    6. 初始化Hadoop:格式化HDFS文件系统,创建必要的目录结构。 7. 启动Hadoop服务:通过start-dfs.sh和start-yarn.sh命令启动Hadoop的各个组件。 8. 设置SSH免密登录:为了集群间通信,脚本可能会包含一个步骤来配置...

    脚本搭建hadoop集群

    自动化安装hadoop集群 脚本搭建hadoop集群 可以自定义主机名和IP地址 可以自定义安装jdk和hadoop(格式为*tar.gz) 注意事项 1、安装完jdk和hadoop请手动source /etc/profile 刷新环境变量 2测试脚本环境为centOS6,...

    hadoop环境部署自动化shell脚本(伪分布式、完全分布式集群搭建).docx

    脚本`install-hadoop.sh`包括了所有上述功能的实现,使用了URL链接下载Java和Hadoop的RPM包和tar.gz文件,然后通过一系列的自动化操作,如解压、配置、传输、格式化等,实现了Hadoop的快速部署。 总的来说,这个...

    shell脚本配置Hadoop伪分布式.zip

    5. 初始化HDFS命名空间,格式化NameNode。 6. 启动Hadoop服务,包括DataNode、NameNode和ResourceManager等。 7. 最后,通过`help文档.txt`中的指示进行验证,确保Hadoop伪分布式环境已成功搭建并运行。 理解并掌握...

    hadoop大数据平台部署专用脚本;自动计算磁盘数,批处理格式化gpt磁盘

    本文将详细探讨如何使用特定脚本来自动化部署Hadoop大数据平台,并着重讲解如何自动计算磁盘数以及批处理格式化GPT(GUID Partition Table)磁盘。 首先,Hadoop的数据存储核心是HDFS(Hadoop Distributed File ...

    Hadoop高可用自动化安装使用Shell脚本

    在Hadoop集群中,一个完善的自动化脚本可以大大简化安装过程,减少人为错误,提高效率。脚本通常包括以下步骤: 1. **环境准备**:确保所有节点都配置了相同的时区,更新系统到最新版本,安装必要的依赖库,如Java...

    一键安装Hadoop.zip

    6. **格式化NameNode**:首次启动Hadoop集群前,需要对NameNode进行格式化,初始化HDFS元数据。 7. **启动Hadoop**:通过`start-dfs.sh`和`start-yarn.sh`命令启动Hadoop服务。 8. **检查集群状态**:使用`jps`命令...

    hadoop集群一键部署脚本

    4. **初始化服务**:脚本会启动Hadoop的DataNodes、NameNodes、ResourceManager、NodeManager以及Spark的相关服务,如HistoryServer等,并进行必要的格式化和初始化操作。 5. **安全设置**:如果集群需要安全性,...

    hadoop-2.8.1一键搭建脚本和配置文件

    4. **格式化NameNode**:首次部署时,需要对NameNode进行格式化,初始化HDFS元数据。 5. **启动服务**:启动DataNode、NameNode、ResourceManager、NodeManager等Hadoop服务。 6. **SSH免密登陆**:为了方便集群内的...

    hadoop2.6.5自动化编译

    7. **格式化NameNode**:首次启动Hadoop集群前,需要对NameNode进行格式化: ``` sbin/hadoop namenode -format ``` 8. **启动Hadoop服务**:使用Hadoop的脚本启动DataNode、NameNode、ResourceManager、...

    徐老师大数据 Hadoop架构完全分析课程 Hadoop入门学习视频教程

    027.Hadoop架构分析之启动脚本分析(数据格式化与hdfs.cmd命令).mp4 028.Hadoop架构分析之启动脚本分析(mapred.cmd和虚拟机参数设置).mp4 029.Hadoop架构分析之启动脚本分析(start-yarn.cmd命令).mp4 030....

    hadoop2.7.x_winutils_exe&&hadoop_dll

    使用`winutils.exe`初始化和格式化HDFS命名空间,创建`core-site.xml`和`hdfs-site.xml`配置文件,指定HDFS的相关参数,如namenode和datanode的地址。 5. **测试运行**: 一旦配置完成,你可以通过运行`hadoop fs...

    hadoop2.7.1.rar

    5. **格式化NameNode**:首次启动Hadoop集群时,需要对NameNode进行格式化,以初始化HDFS的数据存储。 6. **启动Hadoop服务**:通过执行Hadoop的启动脚本来启动DataNode、NameNode、ResourceManager和NodeManager等...

    hadoop权威指南天气测试案例和执行脚本

    1. **数据预处理**:气象数据通常是非结构化的,需要进行清洗、格式转换,使其适应于Hadoop处理。这可能包括去除无效数据、填补缺失值、标准化数据等步骤。 2. **MapReduce编程**:案例会展示如何编写Map和Reduce...

    hadoop.dll、winutils.exe

    4. **格式化HDFS**:首次使用时,需要使用`winutils.exe`来格式化HDFS,这将创建Hadoop的分布式文件系统。 5. **启动Hadoop**:最后,通过执行`start-dfs.cmd`和`start-yarn.cmd`启动Hadoop的HDFS和YARN服务。 6. ...

    hadoop3.3.4 winutils

    6. **格式化NameNode**:首次部署Hadoop时,需要格式化NameNode,这将创建HDFS的元数据存储。 7. **启动Hadoop服务**:使用`start-dfs.sh`和`start-yarn.sh`脚本启动HDFS和YARN服务。在Windows环境下,可能需要以...

    hadoop-3.1.0.rar windows 环境依赖

    5. **格式化NameNode**:首次启动Hadoop时,需要对NameNode进行格式化,以创建HDFS的元数据。 6. **启动Hadoop服务**:运行相关的启动脚本,如`start-dfs.sh`和`start-yarn.sh`,启动Hadoop的各个组件。 7. **验证...

    hadoop-3.1.4.tar.zip

    然后,通过`bin/hadoop`脚本初始化HDFS并格式化NameNode,接着启动DataNodes和YARN的服务。一旦集群运行起来,你可以使用`hadoop fs`命令与HDFS进行交互,或者编写MapReduce程序进行分布式计算。 Hadoop 3.x系列...

Global site tag (gtag.js) - Google Analytics