`
weitao1026
  • 浏览: 1045924 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

hadoop和hbase默认的情况下,会把pid文件存储

阅读更多

有时候,我们对运行几天或者几个月的hadoop或者hbase集群做停止操作,会发现,停止命令不管用了,为什么呢?
因为基于java开发的程序,想要停止程序,必须通过进程pid来确定,而hadoop和hbase默认的情况下,会把pid文件存储在Linux上的/tmp目录的某个目录下,进程名命令规则一般是  框架名-用户名-角色名.pid,而默认情况下,linux的tmp里面的东西,一天会删除一次,所以把pid文件放在这里面,并不是长久之计,为了安全起见,我们还是放到一个固定的目录下最好,当然不能放在/tmp下

如何配置避免把进程文件写到临时目录下面呢?

一:Hadoop配置:

(1)修改hadoop-env.sh
修改如下,如果没有下面的设置,可以直接添加:

export HADOOP_PID_DIR=/ROOT/server/pids_hadoop_hbase
export HADOOP_SECURE_DN_PID_DIR=/ROOT/server/pids_hadoop_hbase

上述配置,影响
NameNode
DataNode
SecondaryNameNode
进程pid存储



(2)修改mapred-env.sh
修改
export HADOOP_MAPRED_PID_DIR=/ROOT/server/pids_hadoop_hbase

上述配置,影响
JobHistoryServer
进程pid存储

(3)修改yarn-env.sh
修改或者添加(不存在此项配置时),这里面我没有找到pid的环境设置变量,所以就直接添加了

export YARN_PID_DIR=/ROOT/server/pids_hadoop_hbase

上述配置,影响
NodeManager
ResourceManager
进程pid存储


二:Hbase的配置
修改hbase-env.sh

export HBASE_PID_DIR=/ROOT/server/pids_hadoop_hbase


上述配置,影响
HMaster
HRegionServer

进程pid存储


再次启动集群,就会发现指定的pids_hadoop_hbase下有进程pid文件已经存储进来:







如此以来,就安全多了,再次关闭集群时,不用再担心进程文件找不到,而导致只能暴力 kill 相关
进程,这样做比较危险,一般情况不推荐这样做

参考文章:
http://blog.csdn.net/xiao_jun_0820/article/details/35222699

分享到:
评论

相关推荐

    hadoop+hbase+zookeeper集群配置流程及文件

    在大数据处理领域,Hadoop、HBase和Zookeeper是三个至关重要的组件,它们共同构建了一个高效、可扩展的数据处理和存储环境。以下是关于这些技术及其集群配置的详细知识。 首先,Hadoop是一个开源的分布式计算框架,...

    Hadoop和Hbase 配置文件-完整好的

    这份"完整好的"配置文件集合包含了针对Hadoop和HBase的配置,只需根据实际环境修改主机名和文件路径即可。 首先,我们来看Hadoop的配置文件。在`conf-Hadoop`目录下,通常会包含以下几个关键文件: 1. `core-site....

    hadoop和hbase集成所需jar包

    在大数据处理领域,Hadoop和HBase是两个重要的开源组件,它们分别扮演着分布式存储和实时数据访问的角色。Hadoop提供了强大的数据处理能力,而HBase则是一个基于Hadoop的分布式列式数据库,适合处理大规模的半结构化...

    Hadoop与HBase部署文档

    - **修改Linux最大打开文件数**:Hadoop和HBase运行时会打开大量文件,需调整`ulimit`设置以支持更多并发连接。 - **安装Java**:Hadoop和HBase依赖Java运行环境,通常需要JDK 8或以上版本。 - **设置相关变量**...

    hadoop,hbase,hive版本整合兼容性最全,最详细说明【适用于任何版本】

    在大数据领域中,Hadoop、HBase和Hive是重要的组件,它们通常需要协同工作以实现数据存储、管理和分析。随着各个软件的版本不断更新,确保不同组件之间的兼容性成为了一个挑战。本文将介绍Hadoop、HBase、Hive以及...

    Hadoop+Hbase技术使用文档(整理过的)

    本文档旨在指导用户如何在单节点上安装并配置Hadoop与Hbase,从而实现数据的分布式存储和处理。通过本教程的学习,读者将能够理解并掌握Hadoop与Hbase的基本操作流程。 #### 二、运行环境要求 ##### 2.1 支持的平台...

    hadoop和HBase常用shell命令

    Hadoop 是一个分布式计算框架,用于处理大规模数据,而 HBase 是一个基于 Hadoop 的分布式数据库,用于存储和处理大规模数据。在工作中,我们经常需要使用 Hadoop 和 HBase 的 shell 命令来管理和操作数据。下面是 ...

    Hadoop Zookeeper HBase集群

    首先,Hadoop是Apache软件基金会开发的一个开源框架,主要用于处理和存储大量数据。它通过分布式文件系统(HDFS)和MapReduce编程模型来实现数据的并行处理,使得在普通硬件上处理PB级数据成为可能。Hadoop的核心...

    hadoop+hbase集群搭建 详细手册

    2. HBase:HBase是一个基于Hadoop的分布式数据库,用于存储和处理大规模数据。 3. ZooKeeper:ZooKeeper是一个分布式协调服务,用于管理Hadoop和HBase集群。 二、机器集群结构分布 在本文中,我们将使用8台曙光...

    hadoop+hbase jar包

    在大数据处理领域,Hadoop和HBase是两个非常重要的组件。Hadoop是一个开源的分布式计算框架,它允许在大规模集群上处理和存储大量数据。HBase则是基于Hadoop的分布式数据库,尤其适合处理大规模的非结构化数据。下面...

    hadoop-2.7.2-hbase-jar.tar.gz

    集成Hadoop和HBase时,通常会将HBase的JAR包添加到Hadoop的类路径中,确保Hadoop集群能够识别并处理HBase的相关操作。这个过程可能涉及到配置Hadoop的环境变量,如HADOOP_CLASSPATH,以及修改HBase的配置文件,如...

    Hadoop和Hbase安装使用教程

    ### Hadoop和Hbase安装使用教程 #### 一、准备工作 在正式开始Hadoop和HBase的安装之前,我们需要做一些准备工作。这些准备包括了安装必要的软件环境,例如虚拟机环境和SSH客户端,以及对虚拟机的基本配置。 ####...

    windows中安装Hadoop与Hbase

    Hadoop是一个由Apache基金会开发的开源框架,用于存储和处理大规模数据,它通过可靠的分布式存储(HDFS)和分布式计算(MapReduce)模型来实现这些功能。Hbase则是建立在Hadoop之上的一个分布式NoSQL数据库,它特别...

    大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1

    在构建大数据处理环境时,Hadoop、HBase、Spark和Hive是四个核心组件,它们协同工作以实现高效的数据存储、处理和分析。本教程将详细介绍如何在Ubuntu系统上搭建这些组件的集群。 1. **Hadoop**:Hadoop是Apache...

    hadoop hbase 全jar包

    Hadoop和HBase是大数据处理领域中的重要组件,它们在分布式存储和实时数据访问方面扮演着关键角色。Hadoop是一个开源框架,主要用于处理和存储大量数据,而HBase是建立在Hadoop之上的非关系型数据库,提供高可靠性、...

    hadoop和hbase安装操作手册

    ### Hadoop和HBase安装操作手册 #### 一、引言 随着大数据技术的发展,Hadoop和HBase作为处理大规模数据的关键技术框架,受到了越来越多的关注。本文档旨在为初次接触这些技术的学习者提供一份详尽的操作指南,...

    Hadoop+Hbase+Spark+Hive搭建

    我们将在/home/hadoop/cloud/softwares目录下存放软件安装包,/home/hadoop/cloud/program目录下存放程序文件,/home/hadoop/cloud/data目录下存放数据文件。 二、主机设置 2.1 设置IP地址 我们将使用静态IP地址...

    Hadoop+HBase+Java API

    标题 "Hadoop+HBase+Java API" 涉及到三个主要的开源技术:Hadoop、HBase以及Java API,这些都是大数据处理和存储领域的关键组件。以下是对这些技术及其结合使用的详细介绍: **Hadoop** 是一个分布式计算框架,由...

    基于hadoop和hbase的分布式索引集群研究.pdf

    分布式索引集群的研究涉及了Hadoop的架构、HDFS文件系统、MapReduce算法和HBase存储模型等多个方面的知识。Hadoop的架构分为Master节点和Slave节点,其中Master节点运行NameNode、SecondaryNameNode、JobTracker等...

    Hadoop数据迁移--从Hadoop向HBase载入数据

    Hadoop数据迁移是指将存储在Hadoop分布式文件系统(HDFS)中的数据转移到其他存储系统中,例如HBase。HBase是一个基于Hadoop的分布式数据库,它主要用于随机实时读/写访问超大表,适用于存储半结构化或非结构化稀疏...

Global site tag (gtag.js) - Google Analytics