`
weitao1026
  • 浏览: 1046049 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

hadoop或者hbase集群做停止操作

阅读更多

有时候,我们对运行几天或者几个月的hadoop或者hbase集群做停止操作,会发现,停止命令不管用了,为什么呢?
因为基于java开发的程序,想要停止程序,必须通过进程pid来确定,而hadoop和hbase默认的情况下,会把pid文件存储在Linux上的/tmp目录的某个目录下,进程名命令规则一般是  框架名-用户名-角色名.pid,而默认情况下,linux的tmp里面的东西,一天会删除一次,所以把pid文件放在这里面,并不是长久之计,为了安全起见,我们还是放到一个固定的目录下最好,当然不能放在/tmp下

如何配置避免把进程文件写到临时目录下面呢?

一:Hadoop配置:

(1)修改hadoop-env.sh
修改如下,如果没有下面的设置,可以直接添加:

export HADOOP_PID_DIR=/ROOT/server/pids_hadoop_hbase
export HADOOP_SECURE_DN_PID_DIR=/ROOT/server/pids_hadoop_hbase

上述配置,影响
NameNode
DataNode
SecondaryNameNode
进程pid存储



(2)修改mapred-env.sh
修改
export HADOOP_MAPRED_PID_DIR=/ROOT/server/pids_hadoop_hbase

上述配置,影响
JobHistoryServer
进程pid存储

(3)修改yarn-env.sh
修改或者添加(不存在此项配置时),这里面我没有找到pid的环境设置变量,所以就直接添加了

export YARN_PID_DIR=/ROOT/server/pids_hadoop_hbase

上述配置,影响
NodeManager
ResourceManager
进程pid存储


二:Hbase的配置
修改hbase-env.sh

export HBASE_PID_DIR=/ROOT/server/pids_hadoop_hbase


上述配置,影响
HMaster
HRegionServer

进程pid存储


再次启动集群,就会发现指定的pids_hadoop_hbase下有进程pid文件已经存储进来:







如此以来,就安全多了,再次关闭集群时,不用再担心进程文件找不到,而导致只能暴力 kill 相关 进程,这样做比较危险,一般情况不推荐这样做

分享到:
评论

相关推荐

    hadoop+hbase集群搭建 详细手册

    本文将详细介绍如何搭建Hadoop+HBase集群,包括前提准备、机器集群结构分布、硬件环境、软件准备、操作步骤等。 一、前提准备 在搭建Hadoop+HBase集群之前,需要准备以下几个组件: 1. Hadoop:Hadoop是一个基于...

    Hadoop Zookeeper HBase集群

    标题 "Hadoop Zookeeper HBase集群" 涉及到的是大数据处理领域中的三个关键组件:Hadoop、Zookeeper和HBase。这三个组件在构建分布式系统中起着至关重要的作用。 首先,Hadoop是Apache软件基金会开发的一个开源框架...

    hadoop+hbase+zookeeper集群配置流程及文件

    提供的文档`hadoop_zookeeper_hbase集群配置.docx`应包含详细的步骤和配置示例,而`配置文件.rar`则可能包含了预设的配置模板,可以作为配置参考。在实际操作时,务必根据具体环境调整配置,确保所有节点之间的网络...

    大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1

    - 在Hadoop集群运行的基础上安装HBase,确保Hadoop的相关环境变量被HBase使用。 - 配置HBase的`hbase-site.xml`以指定Zookeeper地址和集群模式。 - 启动HBase服务,包括Master和RegionServer。 3. **Spark**:...

    Hadoop_hbase集群搭建.docx

    新手Hadoop_hbase集群搭建,3台服务器节点Centos7,Hadoop2.7.4,HBase1.3.1,jdk8,zookpeer3.4.10 安装包也将上传,亲手搭建编写文档

    Hadoop hbase hive sqoop集群环境安装配置及使用文档

    大数据集群 Hadoop HBase Hive Sqoop 集群环境安装配置及使用文档 在本文档中,我们将详细介绍如何搭建一个大数据集群环境,包括 Hadoop、HBase、Hive 和 Sqoop 的安装配置及使用。该文档将分为四部分:Hadoop 集群...

    hadoop+hbase集群安装

    本文详细介绍了如何在多台服务器上部署Hadoop + HBase集群的过程,包括了从基础环境配置到Hadoop和HBase的具体安装步骤。通过这些步骤,您可以成功地搭建起一个功能完备的分布式计算和存储平台,为大规模数据处理...

    Hadoop HA高可用集群搭建(Hadoop+Zookeeper+HBase)

    Hadoop HA高可用集群搭建(Hadoop+Zookeeper+HBase) 一、Hadoop HA高可用集群概述 在大数据处理中,高可用集群是非常重要的,Hadoop HA高可用集群可以提供高可靠性和高可用性,确保数据处理不中断。该集群由...

    hadoop+hbase+hive集群搭建

    在构建Hadoop+HBase+Hive集群的过程中,涉及了多个关键步骤和技术要点,下面将对这些知识点进行详细的解析。 ### 1. 时间同步:NTP配置 在分布式系统中,时间的一致性至关重要,特别是在处理日志、事件排序以及...

    Hadoop与HBase部署文档

    【Hadoop与HBase部署文档】 ...完成上述步骤后,你就成功地部署了Hadoop和HBase集群,可以开始进行大数据的存储和处理任务。然而,部署只是第一步,后期的运维和优化同样重要,包括性能监控、故障排查和系统升级等。

    搭建Hadoop+Hbase集群

    通过本文档,你将掌握搭建hadoop和hbase的方法,深入浅出,易学上手快。

    hadoop和hbase集成所需jar包

    HBase是构建在HDFS之上的NoSQL数据库,利用Hadoop的存储和计算能力,提供高吞吐量的数据读写操作。 2. **集成背景**:在大数据分析中,有时我们需要对存储在HBase中的数据进行批处理,这时候就需要通过Hadoop的...

    Hadoop_Hbase集群安装部署手册

    下面将详细阐述在Hadoop 2.7.1版本和CentOS 6.5 64位操作系统环境下,如何进行Hadoop与HBase集群的安装和部署。 首先,我们需要准备硬件环境,包括多台配置相同的服务器,它们将作为集群的节点。确保所有机器之间...

    hadoop+hbase jar包

    同时,开发过程中需要注意版本兼容性,确保所使用的jar包与Hadoop和HBase集群的版本一致。 6. 性能优化:在实际部署中,还需要关注Hadoop和HBase的性能优化,如设置合适的Block Size、副本数量、内存分配等参数,...

    Hadoop+Hbase技术使用文档(整理过的)

    虽然文档中没有明确指出支持的具体操作系统平台,但考虑到Hadoop与Hbase主要是在Linux环境下部署,我们可以推断出该文档所指的支持平台应该是基于Linux操作系统。 ##### 2.2 硬件环境 文档未提供具体的硬件配置要求...

    HadoopHbaseZookeeper集群配置

    9. **Hbase集群配置**:Hbase依赖于Hadoop的HDFS服务,需要在Hadoop集群配置的基础上,进一步配置Hbase的`hbase-site.xml`,指定Zookeeper的地址,以及其他相关参数。 10. **Zookeeper配置**:Zookeeper是Hadoop...

    hadoop+HBase+Kylin集群启动停止命令.txt

    hadoop+HBase+Kylin集群启动停止命令

    hadoop+zookeeper+hbase集群搭建配置说明

    在搭建HBase集群时,我们需要配置HBase的主RegionServer(Master)、RegionServer实例以及与Zookeeper的连接。此外,还要设置表和列族的属性,如块大小、缓存设置等,以优化性能。 在实际搭建过程中,首先,你需要...

    大数据hadoop分布式集群搭建(Hadoop、hbase、hive、mysql、zookeeper、Kafka、flume)

    自己整理的Hadoop环境的一些安装,和一些简单的使用,其中包括Hadoop、hbase、hive、mysql、zookeeper、Kafka、flume。都是一些简单的安装步骤和使用,只在自己的虚拟机(Linux centOS7)上使用测试过。按照步骤一步...

    Hadoop数据迁移--从Hadoop向HBase载入数据

    HBase集群通常会与Hadoop集群设置在同一个集群中,这意味着HBase使用的分布式文件系统(HDFS)就是生成HFile文件的MapReduce任务所在的同一集群。这样设置的好处是减少了数据迁移过程中的网络传输,并且可以利用...

Global site tag (gtag.js) - Google Analytics