`
Taoo
  • 浏览: 293930 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hadoop 0.23 配置、安装、升级(YARN 与 log路径 )

 
阅读更多
yarn的配置比hdfs那几个点点简单多了,

网上随便找个教程应该都可以搞定。

遇到的几个问题,记录以下。

1,尼玛yarn-env.sh 与 hadoop-env.sh,启动dfs的时候只会读取hadoop-env.sh,
   启动yarn时,运行./start-yarn.sh,会先执行hadoop-env.sh再执行yarn-env.sh,也就是说后者级别高,会覆盖前者。

2,yarn的log路径问题。看yarn-default.xml里面说yarn.nodemanager.log-dirs参数是指定log存放的,可是我怎么折腾都没效果,它会把路径设置为/logs,这个比较痛苦。后来折腾了半天,在hadoop-env.sh里面配置环境变量,可以解决。
注意,修改/etc/profile,无法使环境变量生效,启动的时候yarn不鸟这个/etc/profile。

3,推荐把所有环境变量都放到 hadoop-env.sh中。我想这也是设计人员的初衷,只怪自己太傻逼,折腾了两三年的/etc/profile。

其他没啥了,
分享到:
评论

相关推荐

    hadoop0.23

    hadoop0.23,绿色包,免安装!

    hadoop2.6基于yarn的安装配置

    Hadoop 2.6 基于 YARN 的安装配置 Hadoop 2.6 是一个基于 YARN(Yet Another Resource Negotiator)的分布式计算框架,它提供了高效、可靠的数据处理能力。在本文中,我们将详细介绍 Hadoop 2.6 的安装配置过程,...

    Hadoop技术内幕深入解析YARN架构设计与实现原理

    Hadoop技术内幕深入解析YARN架构设计与实现原理

    《Hadoop技术内幕深入解析YARN架构设计与实现原理》.(董西成).[PDF]@ckook

    通过阅读《Hadoop技术内幕深入解析YARN架构设计与实现原理》这本书,读者可以深入了解YARN的工作原理,学习如何优化YARN配置,以及如何解决实际操作中遇到的问题,从而更好地利用Hadoop集群资源,提升大数据处理的...

    Hadoop的yarn详解

    Hadoop的YARN架构是Hadoop版本2.x引入的一个重要组件,它负责处理资源管理和作业调度,而核心的计算任务处理则交给了MapReduce、Tez、Spark等计算框架。YARN的出现是为了解决Hadoop早期版本中的可扩展性问题,它通过...

    Hadoop大数据平台构建、YARN配置、启动与验证教学课件.pptx

    任务四是分发YARN与MapReduce的配置文件到所有节点,通常会使用`rsync`或`scp`命令进行文件复制,确保所有节点的配置一致,以保证集群的协调性。 任务五是启动YARN集群,这通常涉及启动ResourceManager、...

    Hadoop技术内幕深入解析YARN架构设计与实现原理.(董西成).PDF

    《Hadoop技术内幕深入解析YARN架构设计与实现原理》.(董西成).PDF

    sqoop-1.4.6.bin__hadoop-0.23.tar.gz

    Sqoop-1.4.6.bin__hadoop-0.23.tar.gz 是一个包含 Sqoop 版本 1.4.6 和与之兼容的 Hadoop 版本 0.23 的压缩包。这个版本的 Sqoop 支持多个数据库系统,并且具有对 Hadoop MapReduce 框架的深度集成,允许用户利用 ...

    Hadoop技术内幕深入解析YARN架构设计与实现原理PDF

    《Hadoop技术内幕深入解析YARN架构设计与实现原理》这本书深入探讨了Hadoop生态系统中的核心组件YARN(Yet Another Resource Negotiator),它是Hadoop 2.x版本中的关键改进,旨在解决早期Hadoop MapReduce的资源...

    HadoopHA集群部署、YARNHA配置、启动与验证教学课件.pptx

    【Hadoop HA集群部署】是...总结来说,Hadoop HA和YARN HA的配置涉及多个层面,包括网络、安全、配置文件修改以及服务启动和验证。这些步骤的目的是构建一个健壮且高可用的Hadoop环境,以支持大规模的分布式计算任务。

    hadoop-yarn-api-2.5.1-API文档-中文版.zip

    赠送jar包:hadoop-yarn-api-2.5.1.jar; 赠送原API文档:hadoop-yarn-api-2.5.1-javadoc.jar; 赠送源代码:hadoop-yarn-api-2.5.1-sources.jar; 赠送Maven依赖信息文件:hadoop-yarn-api-2.5.1.pom; 包含翻译后...

    Hadoop技术内幕:深入解析YARN架构设计与实现原理 高清完整中文版PDF下载

    《Hadoop技术内幕:深入解析YARN架构设计与实现原理》是一本专注于Hadoop生态系统中资源管理和调度核心组件——YARN(Yet Another Resource Negotiator)的专著。这本书全面介绍了YARN的架构、设计思想以及实际操作...

    Hadoop技术内幕:深入Yarn架构设计与实现原理

    《Hadoop技术内幕:深入Yarn架构设计与实现原理》这本书深入探讨了Hadoop生态系统中的核心组件YARN(Yet Another Resource Negotiator),它是Hadoop 2.x版本中的关键改进,旨在解决早期Hadoop MapReduce的资源管理...

    HadoopHA集群部署、YARNHA测试Job教学课件.pptx

    【Hadoop HA 集群部署与 YARN HA 测试Job 教学】 在大数据处理领域,Hadoop 是一个至关重要的分布式计算框架,它提供了高可用性(HA)的特性来确保服务的连续性和稳定性。Hadoop HA 主要指的是 HDFS(Hadoop ...

    hadoop_0.23.9安装指南

    安装完成后,需要设置 Java 环境变量,以便系统可以找到 Java 的安装路径。这些环境变量包括 JAVA_HOME、JRE_HOME、CLASSPATH 和 PATH,它们在 /etc/profile 文件中进行配置。配置完成后,需要执行 source 命令使...

    hadoop-yarn-client-2.6.5-API文档-中文版.zip

    赠送jar包:hadoop-yarn-client-2.6.5.jar; 赠送原API文档:hadoop-yarn-client-2.6.5-javadoc.jar; 赠送源代码:hadoop-yarn-client-2.6.5-sources.jar; 赠送Maven依赖信息文件:hadoop-yarn-client-2.6.5.pom;...

    Hadoop 2.2.0 配置文件

    - `etc/hadoop/hadoop-env.sh`:这是Hadoop环境变量的配置文件,通常需要设置`JAVA_HOME`指向已安装的JDK路径。 2. **HDFS配置**: - `etc/hadoop/core-site.xml`:这个文件配置了Hadoop的基本属性,如命名空间的...

Global site tag (gtag.js) - Google Analytics