有时候,我们对运行几天或者几个月的hadoop或者hbase集群做停止操作,会发现,停止命令不管用了,为什么呢?
因为基于java开发的程序,想要停止程序,必须通过进程pid来确定,而hadoop和hbase默认的情况下,会把pid文件存储在Linux上的/tmp目录的某个目录下,进程名命令规则一般是 框架名-用户名-角色名.pid,而默认情况下,linux的tmp里面的东西,一天会删除一次,所以把pid文件放在这里面,并不是长久之计,为了安全起见,我们还是放到一个固定的目录下最好,当然不能放在/tmp下
如何配置避免把进程文件写到临时目录下面呢?
一:Hadoop配置:
(1)修改hadoop-env.sh
修改如下,如果没有下面的设置,可以直接添加:
export HADOOP_PID_DIR=/ROOT/server/pids_hadoop_hbase
export HADOOP_SECURE_DN_PID_DIR=/ROOT/server/pids_hadoop_hbase
上述配置,影响
NameNode
DataNode
SecondaryNameNode
进程pid存储
(2)修改mapred-env.sh
修改
export HADOOP_MAPRED_PID_DIR=/ROOT/server/pids_hadoop_hbase
上述配置,影响
JobHistoryServer
进程pid存储
(3)修改yarn-env.sh
修改或者添加(不存在此项配置时),这里面我没有找到pid的环境设置变量,所以就直接添加了
export YARN_PID_DIR=/ROOT/server/pids_hadoop_hbase
上述配置,影响
NodeManager
ResourceManager
进程pid存储
二:Hbase的配置
修改hbase-env.sh
export HBASE_PID_DIR=/ROOT/server/pids_hadoop_hbase
上述配置,影响
HMaster
HRegionServer
进程pid存储
再次启动集群,就会发现指定的pids_hadoop_hbase下有进程pid文件已经存储进来:
如此以来,就安全多了,再次关闭集群时,不用再担心进程文件找不到,而导致只能暴力 kill 相关
进程,这样做比较危险,一般情况不推荐这样做
参考文章:
http://blog.csdn.net/xiao_jun_0820/article/details/35222699
- 浏览: 1045750 次
- 性别:
- 来自: 上海
文章分类
- 全部博客 (1441)
- 软件思想&演讲 (9)
- 行业常识 (250)
- 时时疑问 (5)
- java/guava/python/php/ruby/R/scala/groovy (213)
- struct/spring/springmvc (37)
- mybatis/hibernate/JPA (10)
- mysql/oracle/sqlserver/db2/mongdb/redis/neo4j/GreenPlum/Teradata/hsqldb/Derby/sakila (268)
- js/jquery/jqueryUi/jqueryEaseyUI/extjs/angulrJs/react/es6/grunt/zepto/raphael (81)
- ZMQ/RabbitMQ/ActiveMQ/JMS/kafka (17)
- lucene/solr/nuth/elasticsearch/MG4J (167)
- html/css/ionic/nodejs/bootstrap (19)
- Linux/shell/centos (56)
- cvs/svn/git/sourceTree/gradle/ant/maven/mantis/docker/Kubernetes (26)
- sonatype nexus (1)
- tomcat/jetty/netty/jboss (9)
- 工具 (17)
- ETL/SPASS/MATLAB/RapidMiner/weka/kettle/DataX/Kylin (11)
- hadoop/spark/Hbase/Hive/pig/Zookeeper/HAWQ/cloudera/Impala/Oozie (190)
- ios/swift/android (9)
- 机器学习&算法&大数据 (18)
- Mesos是Apache下的开源分布式资源管理框架 (1)
- echarts/d3/highCharts/tableau (1)
- 行业技能图谱 (1)
- 大数据可视化 (2)
- tornado/ansible/twisted (2)
- Nagios/Cacti/Zabbix (0)
- eclipse/intellijIDEA/webstorm (5)
- cvs/svn/git/sourceTree/gradle/jira/bitbucket (4)
- jsp/jsf/flex/ZKoss (0)
- 测试技术 (2)
- splunk/flunm (2)
- 高并发/大数据量 (1)
- freemarker/vector/thymeleaf (1)
- docker/Kubernetes (2)
- dubbo/ESB/dubboX/wso2 (2)
最新评论
hadoop和hbase默认的情况下,会把pid文件存储
发表评论
-
CDH与原生态hadoop之间的区别
2017-07-26 12:45 991需要认识的几个问题 ------------------- ... -
Cloudera的CDH和Apache的Hadoop的区别
2017-07-26 12:49 572目前而言,不收费的Hadoop版本主要有三个(均是国外厂商) ... -
大数据、云计算系统高级架构师课程学习路线图
2017-07-24 17:10 595大数据、云计算系统高级架构师课程学习路线图 大数据 ... -
Oozie简介
2017-07-24 12:17 1058在Hadoop中执行的任务有时候需要把多个Map/Reduc ... -
清理ambari安装的hadoop集群
2017-07-24 11:29 923本文针对redhat或者centos 对于测试集群,如果通 ... -
hawk大数据基础知识总结(2)
2017-05-13 15:13 492hawk 英[hɔ:k] 美[hɔk] n. 鹰; 霍克; ... -
hawk大数据基础知识总结(1)
2017-05-13 14:41 794一、大数据概述 1.1大 ... -
ambari是什么
2017-05-11 19:52 644Apache Ambari是一种基于Web的工具,支持Apa ... -
数据仓库中的Inmon与Kimball架构之争
2017-05-11 13:40 694对于数据仓库体系结构的最佳问题,始终存在许多不同的看法,甚至 ... -
Hive的meta 数据支持以下三种存储方式
2017-05-04 13:48 894测试环境下Hive总出问题 ... -
大数据要学习知识
2017-05-02 17:18 48901 技术层面 1.紧贴 ... -
Spark Streaming简介
2017-05-02 16:28 7421.1 概述 Spark Streaming 是Spark ... -
pentaho套件
2017-04-28 15:52 827有人统计过,在整个数据分析过程里,收集、整理数据的工作大致占全 ... -
Impala:新一代开源大数据分析引擎
2017-04-22 10:48 726大数据处理是云计算中非常重要的问题,自Google公司提出M ... -
Weka是什么
2017-04-10 13:17 1065Weka的全名是怀卡托智 ... -
解密Apache HAWQ ——功能强大的SQL-on-Hadoop引擎
2017-04-10 12:04 835一、HAWQ基本介绍 HAWQ ... -
Kettle的使用
2017-04-06 12:11 596Kettle是一款国外开源 ... -
clouder manager端口7180没有打开为什么
2017-03-27 10:56 1174修改 clouder-manager.repo新建内容我们需要 ... -
Impala与Hive的比较
2017-03-19 13:09 7841. Impala架构 Impala是Clo ... -
Cloudera Manager、CDH零基础入门、线路指导
2017-03-19 12:53 1264问题导读:1.什么是cloudera CM 、CDH?2.C ...
相关推荐
在大数据处理领域,Hadoop、HBase和Zookeeper是三个至关重要的组件,它们共同构建了一个高效、可扩展的数据处理和存储环境。以下是关于这些技术及其集群配置的详细知识。 首先,Hadoop是一个开源的分布式计算框架,...
这份"完整好的"配置文件集合包含了针对Hadoop和HBase的配置,只需根据实际环境修改主机名和文件路径即可。 首先,我们来看Hadoop的配置文件。在`conf-Hadoop`目录下,通常会包含以下几个关键文件: 1. `core-site....
在大数据处理领域,Hadoop和HBase是两个重要的开源组件,它们分别扮演着分布式存储和实时数据访问的角色。Hadoop提供了强大的数据处理能力,而HBase则是一个基于Hadoop的分布式列式数据库,适合处理大规模的半结构化...
- **修改Linux最大打开文件数**:Hadoop和HBase运行时会打开大量文件,需调整`ulimit`设置以支持更多并发连接。 - **安装Java**:Hadoop和HBase依赖Java运行环境,通常需要JDK 8或以上版本。 - **设置相关变量**...
在大数据领域中,Hadoop、HBase和Hive是重要的组件,它们通常需要协同工作以实现数据存储、管理和分析。随着各个软件的版本不断更新,确保不同组件之间的兼容性成为了一个挑战。本文将介绍Hadoop、HBase、Hive以及...
本文档旨在指导用户如何在单节点上安装并配置Hadoop与Hbase,从而实现数据的分布式存储和处理。通过本教程的学习,读者将能够理解并掌握Hadoop与Hbase的基本操作流程。 #### 二、运行环境要求 ##### 2.1 支持的平台...
Hadoop 是一个分布式计算框架,用于处理大规模数据,而 HBase 是一个基于 Hadoop 的分布式数据库,用于存储和处理大规模数据。在工作中,我们经常需要使用 Hadoop 和 HBase 的 shell 命令来管理和操作数据。下面是 ...
首先,Hadoop是Apache软件基金会开发的一个开源框架,主要用于处理和存储大量数据。它通过分布式文件系统(HDFS)和MapReduce编程模型来实现数据的并行处理,使得在普通硬件上处理PB级数据成为可能。Hadoop的核心...
2. HBase:HBase是一个基于Hadoop的分布式数据库,用于存储和处理大规模数据。 3. ZooKeeper:ZooKeeper是一个分布式协调服务,用于管理Hadoop和HBase集群。 二、机器集群结构分布 在本文中,我们将使用8台曙光...
在大数据处理领域,Hadoop和HBase是两个非常重要的组件。Hadoop是一个开源的分布式计算框架,它允许在大规模集群上处理和存储大量数据。HBase则是基于Hadoop的分布式数据库,尤其适合处理大规模的非结构化数据。下面...
集成Hadoop和HBase时,通常会将HBase的JAR包添加到Hadoop的类路径中,确保Hadoop集群能够识别并处理HBase的相关操作。这个过程可能涉及到配置Hadoop的环境变量,如HADOOP_CLASSPATH,以及修改HBase的配置文件,如...
### Hadoop和Hbase安装使用教程 #### 一、准备工作 在正式开始Hadoop和HBase的安装之前,我们需要做一些准备工作。这些准备包括了安装必要的软件环境,例如虚拟机环境和SSH客户端,以及对虚拟机的基本配置。 ####...
Hadoop是一个由Apache基金会开发的开源框架,用于存储和处理大规模数据,它通过可靠的分布式存储(HDFS)和分布式计算(MapReduce)模型来实现这些功能。Hbase则是建立在Hadoop之上的一个分布式NoSQL数据库,它特别...
在构建大数据处理环境时,Hadoop、HBase、Spark和Hive是四个核心组件,它们协同工作以实现高效的数据存储、处理和分析。本教程将详细介绍如何在Ubuntu系统上搭建这些组件的集群。 1. **Hadoop**:Hadoop是Apache...
Hadoop和HBase是大数据处理领域中的重要组件,它们在分布式存储和实时数据访问方面扮演着关键角色。Hadoop是一个开源框架,主要用于处理和存储大量数据,而HBase是建立在Hadoop之上的非关系型数据库,提供高可靠性、...
### Hadoop和HBase安装操作手册 #### 一、引言 随着大数据技术的发展,Hadoop和HBase作为处理大规模数据的关键技术框架,受到了越来越多的关注。本文档旨在为初次接触这些技术的学习者提供一份详尽的操作指南,...
我们将在/home/hadoop/cloud/softwares目录下存放软件安装包,/home/hadoop/cloud/program目录下存放程序文件,/home/hadoop/cloud/data目录下存放数据文件。 二、主机设置 2.1 设置IP地址 我们将使用静态IP地址...
标题 "Hadoop+HBase+Java API" 涉及到三个主要的开源技术:Hadoop、HBase以及Java API,这些都是大数据处理和存储领域的关键组件。以下是对这些技术及其结合使用的详细介绍: **Hadoop** 是一个分布式计算框架,由...
分布式索引集群的研究涉及了Hadoop的架构、HDFS文件系统、MapReduce算法和HBase存储模型等多个方面的知识。Hadoop的架构分为Master节点和Slave节点,其中Master节点运行NameNode、SecondaryNameNode、JobTracker等...
Hadoop数据迁移是指将存储在Hadoop分布式文件系统(HDFS)中的数据转移到其他存储系统中,例如HBase。HBase是一个基于Hadoop的分布式数据库,它主要用于随机实时读/写访问超大表,适用于存储半结构化或非结构化稀疏...