`
yehao0716
  • 浏览: 22582 次
  • 性别: Icon_minigender_1
  • 来自: 武汉
社区版块
存档分类
最新评论

去除hadoop启动时的警告信息

阅读更多

hadoop安装成功,启动是会有如下的警告信息:



 

如何去掉改警告信息呢?先去看start-all.sh文件:



 

这里的一段if else 可以看出 如果 libexec/hadoop-config.sh文件不存在则执行 bin/hadoop-config.sh,继续看bin/hadoop-config.sh文件:



 上图可以看出 当环境变量 HADOOP_HOME_WARN_SUPPRESS 为空 并且 HADOOP_HOME不为空时会打印警告信息,为了不打印警告信息,我们配置一下环境变量HADOOP_HOME_SUPPRESS即可:

          vi /etc/profile

          export HADOOP_HOME_WARN_SUPPRESS="1"

  修改/etc/profile文件后 执行 source/profile 后生效

 

重新启动hadoop,没有打印警告信息,如图:



 

 

  • 大小: 48.5 KB
  • 大小: 53.9 KB
  • 大小: 3.6 KB
  • 大小: 16.8 KB
分享到:
评论

相关推荐

    jps判断hadoop启动是否成功

    jps判断hadoop启动是否成功;分别对master和slave进行了判断。jps不是hadoop的什么命令,是java的命令,所以直接执行就行了。

    hadoop启动日志

    2. **调试信息**: 提供了运行时的详细信息,有助于追踪问题。 3. **警告信息**: 提示可能存在的问题,但不影响服务正常运行。 4. **错误信息**: 记录了服务运行过程中遇到的错误,是解决问题的重要线索。 5. **事件...

    hadoop2.7.3启动脚本流程

    在学习hadoop启动脚本过程中记录的,有一定的参考价值,值得一看!

    HadoopHA集群 批量启动脚本

    HadoopHA集群 批量启动脚本HadoopHA集群 批量启动脚本HadoopHA集群 批量启动脚本HadoopHA集群 批量启动脚本

    hadoop启动时间写入文件

    hadoop:1.0.4 修改JobTracker源码,把JobTracker启动时间写入文件/...只需替换hadoop-core-1.0.4.jar文件,然后重启系统集群即可,启动后就可以在hdfs文件系统看到/private/jobtracker/starttime中有的启动时间。

    Hadoop datanode启动失败:Hadoop安装目录权限的问题

    - **启动Hadoop时的权限问题**:由于Hadoop的配置通常要求由特定的非`root`用户(如`hadoop`用户)来运行服务,因此当Hadoop安装目录的所有者为`root`时,会导致Datanode在启动时遇到权限问题。 #### 三、解决方案 ...

    hadoop启动集群脚本

    启动集群脚本,私聊免费发。上传只为防丢失。以备后用

    hadoop启动集群前格式化操作

    格式化操作。格式化操作。格式化操格式化操作。

    hadoop集群一键启动、关闭

    这一步骤通常只在首次启动或NameNode损坏时执行。 3. **启动DataNodes和NameNodes**:HDFS的启动始于NameNode,接着启动各个DataNode。NameNode负责元数据管理,DataNode负责数据存储。 4. **启动YARN**:YARN...

    hadoop 高可用集群一键启动脚本

    hadoop 高可用启动脚本,运行启动zookeeper集群和hadoop ha集群

    hadoop在windows下启动的命令

    在windows下搭建hadoop环境,一般需要借助虚拟机或者cygwin来模拟一个linux的启动环境。但这样搭建一个环境太麻烦了,其实可以直接像linux上一样来配置变量,然后启动,他的启动命令就是上面jar包中的bin

    Hadoop windows启动文件

    在Windows环境下启动Hadoop,通常会遇到依赖Cygwin的问题,因为Hadoop最初设计时主要考虑的是类Unix系统。然而,随着技术的发展,现在我们可以在Windows上直接运行Hadoop,无需Cygwin作为桥梁。本教程将详细介绍如何...

    hadoop2.7.3 Winutils.exe hadoop.dll

    否则,你可能会遇到启动Hadoop服务时的错误,例如“找不到Winutils.exe”或“无法加载hadoop.dll”。 在使用Hadoop进行大数据分析时,理解这些基础组件的工作原理和如何正确配置它们对于成功运行Hadoop任务至关重要...

    hadoop/bin/hadoop.dll

    5. **错误日志分析**:查看安装过程或Hadoop启动时产生的错误日志,这些信息可能提供关于为什么需要这个DLL文件的线索。 6. **使用兼容性模式**:如果可能,尝试以兼容模式运行Hadoop,或者使用如cygwin这样的模拟...

    hadoop winutils hadoop.dll

    **winutils.exe** 是一个用于Windows环境的实用工具,它提供了类似于Linux环境下的某些功能,比如设置HDFS(Hadoop Distributed File System)的权限、启动和停止Hadoop服务等。在Windows上搭建Hadoop本地模式或单...

    hadoop2.7.3.0编译后压缩支持

    WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable hadoop 启动时警告问题解决

    基于Hadoop的微博信息挖掘

    基于Hadoop的微博信息挖掘 本文设计了基于Hadoop的微博信息挖掘系统,解决了单一节点在分析微博海量数据的性能瓶颈问题。该系统利用分布式和虚拟化技术的优势,将微博信息获取和相关数据分析进行有机整合,实现了一...

    hadoop 2.8.0 macOS native library

    安装hadoop启动之后总有警告:Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 原因: Apache提供的hadoop本地库是32位的,而在64位的服务器上就会有问题...

    Hadoop大数据期末考试重点

    4. **Secondary NameNode的作用**:Secondary NameNode并非用于缩短Hadoop集群启动时间,而是辅助NameNode合并编辑日志,减少NameNode的重启时间。 5. **Hadoop的硬件需求与可靠性**:Hadoop设计允许在普通硬件上...

    hadoop2.7.3的hadoop.dll和winutils.exe

    `winutils.exe`可以帮助用户管理HDFS、设置Hadoop环境变量、启动和停止Hadoop服务等。例如,你可以使用`winutils.exe`来设置HDFS的权限,或者初始化Hadoop的本地文件系统。在Windows上搭建和运行Hadoop集群时,`...

Global site tag (gtag.js) - Google Analytics