shell自动化部署组件的时候对文件字符串处理配置文件的需求比较大,部署hadoop处理如下格式xml的量是非常多的:
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
以下是新增或者修改yarn.resourcemanager.ha.rm-ids节点的值
#!/bin/bash
filename="/hadoop-2.7.1/etc/hadoop/yarn-site.xml"
key="yarn.resourcemanager.ha.rm-ids"
value="rm1,rm2"
key=${key//\//\\/}
key=${key//\./\\.}
key=${key//\:/\\:}
value=${value//\:/\\:}
value=${value//\//\\/}
value=${value//\./\\.}
regex="<name>\s*${key}\s*<\/name>"
#echo "$regex"
grep -q "$regex" $filename&&isExist="yes"||isExist="no"
if [ $isExist = "yes" ];then
regex2="(${regex}\n*\s*<value>).*?(<\/value>)"
sed -i -r '/'"${regex}"'/{N;s/'"${regex2}"'/\1'"${value}"'\2/g}' $filename
#sed -i -r '/'"${regex}"'/{N;s/'"${regex2}"'/'"${value}"'/g}' $filename
fi
if [ $isExist = "no" ];then
sed -i 's/^<\/configuration>/<property>\n<name>'"${key}"'<\/name>\n<value>'"${value}"'<\/value>\n<\/property>\n&/' $filename
fi
分享到:
相关推荐
6. **配置Hadoop**:编辑`core-site.xml`、`hdfs-site.xml`、`yarn-site.xml`等配置文件,设定HA相关参数,如NameNode和ResourceManager的地址、Zookeeper的地址等。 7. **格式化NameNode**:首次启动时,主...
这份"完整好的"配置文件集合包含了针对Hadoop和HBase的配置,只需根据实际环境修改主机名和文件路径即可。 首先,我们来看Hadoop的配置文件。在`conf-Hadoop`目录下,通常会包含以下几个关键文件: 1. `core-site....
7. **hadoop-env.sh**: 这是一个shell脚本,包含Hadoop相关的环境变量设置,如JAVA_HOME,HADOOP_OPTS等。在standalone模式下,可能需要根据个人环境进行适当调整。 8. **hadoop-policy.xml**: 定义了Hadoop的安全...
5. **配置文件**:Hadoop的配置文件包括`core-site.xml`, `hdfs-site.xml`, `yarn-site.xml`和`mapred-site.xml`等,这些都需要根据Windows环境进行适配。例如,修改`hdfs-site.xml`中的`dfs.data.dir`,指定本地...
总结,安装Hadoop 2.7.3在Windows上涉及到多个步骤,包括环境变量配置、文件替换、脚本调整以及配置文件的修改。通过这个过程,我们可以将强大的Hadoop分布式计算平台引入到Windows环境中,尽管相比Linux可能稍显...
- 修改Hadoop的配置文件,主要涉及`hdfs-site.xml`和`core-site.xml`,设置HDFS的相关参数,如名称节点和数据节点的位置,以及文件系统的默认存储格式。 - 初始化HDFS文件系统,执行`hdfs namenode -format`命令,...
本项目深入分析了基于Java和Shell语言的Hadoop IPC模块,包含38个文件,其中21个Java源文件,6个JAR包文件,以及Shell脚本、属性文件、XML配置等辅助文件,旨在提取并设计该模块的核心源码,以增强对Hadoop分布式...
接下来,配置Hadoop的`core-site.xml`,这是Hadoop的主要配置文件之一。你需要提供HDFS的默认FS地址,例如: ```xml <name>fs.defaultFS <value>hdfs://localhost:9000 ``` 最后,启动Hadoop服务,如...
8. **etc**:配置文件的存放地,包括Hadoop的配置文件如core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml等,它们定义了Hadoop的行为和集群设置。 为了在Windows 10上运行Hadoop,用户需要正确配置...
首先,Hadoop最初设计时主要考虑的是在Linux集群上运行,其启动和停止命令通常是以.sh结尾的Unix shell脚本。然而,由于Windows系统并不支持.sh格式,我们需要将这些脚本转换为.cmd格式,以便在Windows的命令提示符...
5. **配置文件**:在Windows上启动Hadoop,需要修改Hadoop配置文件,如`core-site.xml`、`hdfs-site.xml`和`mapred-site.xml`,设置正确的路径、端口和参数,以适应Windows环境。 6. **环境变量**:确保设置正确的...
Hadoop默认使用Unix的shell脚本,所以这些工具是必需的。此外,确保所有的服务启动脚本(start-dfs.sh, start-yarn.sh)已经修改为适应Windows批处理文件。 现在,我们可以利用Ant进行构建。Ant是一个Java项目构建...
在Linux上,这些功能通常由shell脚本完成,但在Windows中,由于命令行界面和文件系统结构的不同,需要一个专门的可执行程序来执行类似任务。 在Windows 10 64位系统下运行Hadoop 2.7.5,这两个文件的正确配置和使用...
Hadoop集群配置涉及多个关键步骤,包括修改核心配置文件(如hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml等),以及格式化HDFS、启动守护进程等。对于Hadoop 0.20及以后的版本,配置文件被拆分为...
4. **配置Hadoop**:修改`hdfs-site.xml`,设置HA模式,如`dfs.nameservices`定义名称服务,`dfs.ha.namenodes`指定NameNode实例,`dfs.namenode.rpc-address`和`dfs.namenode.http-address`分别设置Active和Standby...
3. 配置Hadoop的配置文件,如core-site.xml、hdfs-site.xml、yarn-site.xml和mapred-site.xml,设定集群参数和存储路径。 4. 初始化HDFS文件系统,格式化NameNode。 5. 启动Hadoop服务,包括DataNodes、NameNodes、...
此外,压缩包可能还包括了示例数据、脚本、或自动化安装配置的shell脚本,这些都能帮助简化部署过程。在实际应用中,Hadoop常与HBase(NoSQL数据库)、Spark(快速数据处理引擎)等其他大数据工具结合使用,构建更...
4. **Hadoop配置**:自定义脚本可能需要对Hadoop的配置文件进行修改,如core-site.xml和hdfs-site.xml,以便正确地指向集群资源和服务。 5. **错误处理与容错**:在分布式环境中,错误处理和容错机制是必不可少的。...
此外,还需要配置Hadoop的配置文件,如`core-site.xml`和`hdfs-site.xml`,以指定HDFS的相关参数。 总之,"winutils-master.zip" 是针对Windows用户的重要工具包,它解决了在Windows上运行Hadoop遇到的兼容性问题,...