`

shell脚本新增或修改hadoop的xml配置文件

 
阅读更多
shell自动化部署组件的时候对文件字符串处理配置文件的需求比较大,部署hadoop处理如下格式xml的量是非常多的:
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>


以下是新增或者修改yarn.resourcemanager.ha.rm-ids节点的值
#!/bin/bash
filename="/hadoop-2.7.1/etc/hadoop/yarn-site.xml"
key="yarn.resourcemanager.ha.rm-ids"
value="rm1,rm2"
key=${key//\//\\/}
key=${key//\./\\.}
key=${key//\:/\\:}
value=${value//\:/\\:}
value=${value//\//\\/}
value=${value//\./\\.}
regex="<name>\s*${key}\s*<\/name>"
#echo "$regex"
grep -q "$regex" $filename&&isExist="yes"||isExist="no"
if [ $isExist = "yes" ];then
regex2="(${regex}\n*\s*<value>).*?(<\/value>)"
sed -i -r '/'"${regex}"'/{N;s/'"${regex2}"'/\1'"${value}"'\2/g}' $filename
#sed -i -r '/'"${regex}"'/{N;s/'"${regex2}"'/'"${value}"'/g}' $filename
fi
if [ $isExist = "no" ];then
sed -i 's/^<\/configuration>/<property>\n<name>'"${key}"'<\/name>\n<value>'"${value}"'<\/value>\n<\/property>\n&/' $filename
fi
分享到:
评论

相关推荐

    Hadoop高可用自动化安装使用Shell脚本

    6. **配置Hadoop**:编辑`core-site.xml`、`hdfs-site.xml`、`yarn-site.xml`等配置文件,设定HA相关参数,如NameNode和ResourceManager的地址、Zookeeper的地址等。 7. **格式化NameNode**:首次启动时,主...

    Hadoop和Hbase 配置文件-完整好的

    这份"完整好的"配置文件集合包含了针对Hadoop和HBase的配置,只需根据实际环境修改主机名和文件路径即可。 首先,我们来看Hadoop的配置文件。在`conf-Hadoop`目录下,通常会包含以下几个关键文件: 1. `core-site....

    hadoop-2.10.1 standalone配置文件参考

    7. **hadoop-env.sh**: 这是一个shell脚本,包含Hadoop相关的环境变量设置,如JAVA_HOME,HADOOP_OPTS等。在standalone模式下,可能需要根据个人环境进行适当调整。 8. **hadoop-policy.xml**: 定义了Hadoop的安全...

    windows安装需要的Hadoop库文件

    5. **配置文件**:Hadoop的配置文件包括`core-site.xml`, `hdfs-site.xml`, `yarn-site.xml`和`mapred-site.xml`等,这些都需要根据Windows环境进行适配。例如,修改`hdfs-site.xml`中的`dfs.data.dir`,指定本地...

    hadoop 2.7.3 + Windows安装替换bin目录文件

    总结,安装Hadoop 2.7.3在Windows上涉及到多个步骤,包括环境变量配置、文件替换、脚本调整以及配置文件的修改。通过这个过程,我们可以将强大的Hadoop分布式计算平台引入到Windows环境中,尽管相比Linux可能稍显...

    Hadoop的配置及运行WordCount.docx

    - 修改Hadoop的配置文件,主要涉及`hdfs-site.xml`和`core-site.xml`,设置HDFS的相关参数,如名称节点和数据节点的位置,以及文件系统的默认存储格式。 - 初始化HDFS文件系统,执行`hdfs namenode -format`命令,...

    基于Java和Shell语言的Hadoop IPC模块提取与设计源码分析

    本项目深入分析了基于Java和Shell语言的Hadoop IPC模块,包含38个文件,其中21个Java源文件,6个JAR包文件,以及Shell脚本、属性文件、XML配置等辅助文件,旨在提取并设计该模块的核心源码,以增强对Hadoop分布式...

    hadoop-2.7.2-win10_x64.7z

    8. **etc**:配置文件的存放地,包括Hadoop的配置文件如core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml等,它们定义了Hadoop的行为和集群设置。 为了在Windows 10上运行Hadoop,用户需要正确配置...

    hadoop-2.8.3 在windows环境下的执行文件

    首先,Hadoop最初设计时主要考虑的是在Linux集群上运行,其启动和停止命令通常是以.sh结尾的Unix shell脚本。然而,由于Windows系统并不支持.sh格式,我们需要将这些脚本转换为.cmd格式,以便在Windows的命令提示符...

    【IT十八掌徐培成】Hadoop第04天-05.win7下hadoop运行需要dll和exe文件的支持.zip

    5. **配置文件**:在Windows上启动Hadoop,需要修改Hadoop配置文件,如`core-site.xml`、`hdfs-site.xml`和`mapred-site.xml`,设置正确的路径、端口和参数,以适应Windows环境。 6. **环境变量**:确保设置正确的...

    在windows下搭建hadoop2开发环境小案例

    Hadoop默认使用Unix的shell脚本,所以这些工具是必需的。此外,确保所有的服务启动脚本(start-dfs.sh, start-yarn.sh)已经修改为适应Windows批处理文件。 现在,我们可以利用Ant进行构建。Ant是一个Java项目构建...

    【2.7.5】hadoop.dll和winutils.exe

    在Linux上,这些功能通常由shell脚本完成,但在Windows中,由于命令行界面和文件系统结构的不同,需要一个专门的可执行程序来执行类似任务。 在Windows 10 64位系统下运行Hadoop 2.7.5,这两个文件的正确配置和使用...

    Linux下Hadoop分布式配置和使用.pdf

    Hadoop集群配置涉及多个关键步骤,包括修改核心配置文件(如hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml等),以及格式化HDFS、启动守护进程等。对于Hadoop 0.20及以后的版本,配置文件被拆分为...

    Hadoop HA搭建脚本资料(必读)

    4. **配置Hadoop**:修改`hdfs-site.xml`,设置HA模式,如`dfs.nameservices`定义名称服务,`dfs.ha.namenodes`指定NameNode实例,`dfs.namenode.rpc-address`和`dfs.namenode.http-address`分别设置Active和Standby...

    hadoop2.7.0 windows

    3. 配置Hadoop的配置文件,如core-site.xml、hdfs-site.xml、yarn-site.xml和mapred-site.xml,设定集群参数和存储路径。 4. 初始化HDFS文件系统,格式化NameNode。 5. 启动Hadoop服务,包括DataNodes、NameNodes、...

    Hadoop _centos文件.rar

    此外,压缩包可能还包括了示例数据、脚本、或自动化安装配置的shell脚本,这些都能帮助简化部署过程。在实际应用中,Hadoop常与HBase(NoSQL数据库)、Spark(快速数据处理引擎)等其他大数据工具结合使用,构建更...

    【IT十八掌徐培成】Hadoop第02天-03.自定义脚本xsync.zip

    4. **Hadoop配置**:自定义脚本可能需要对Hadoop的配置文件进行修改,如core-site.xml和hdfs-site.xml,以便正确地指向集群资源和服务。 5. **错误处理与容错**:在分布式环境中,错误处理和容错机制是必不可少的。...

    winutils-master.zip hadoop windows运行插件

    此外,还需要配置Hadoop的配置文件,如`core-site.xml`和`hdfs-site.xml`,以指定HDFS的相关参数。 总之,"winutils-master.zip" 是针对Windows用户的重要工具包,它解决了在Windows上运行Hadoop遇到的兼容性问题,...

    hadoop2.8.3包含winutils.exe和hadoop.dll

    - 安全性设置:winutils.exe通常用于设置HDFS的用户和权限,因此需要正确配置Hadoop的安全模型,如Hadoop的配置文件core-site.xml中应包含HDFS的默认FS和安全相关的属性。 - Java环境:Hadoop是用Java编写的,所以...

Global site tag (gtag.js) - Google Analytics