博客首页 → namenode

最新文章列表

深入理解HDFS：Hadoop分布式文件系统

  这篇文章主要介绍了Hadoop中HDFS分布式文件存储有关知识，写的很详细，很棒。 本来想转载传上来的，奈何上传时老提示有敏感词，但又不指出敏感词的位置，字数比较多实在改不了，所以只能把地址放在这里了，大家可以跳过去看看。   原文地址：https://blog.csdn.net/bingduanlbd/article/details/51914550
hadoophdfsnamenodedatanodeblock 
langgufu 评论(0) 有378人浏览 2019-10-31 15:52

(转)HDFS NameNode内存详解

转载自：http://tech.meituan.com/namenode-memory-detail.html 小桥 ·2016-12-09 17:56 前言 《HDFS NameNode内存全景》中，我们从NameNode内部数据结构的视角，对它的内 ...
HDFSNameNode内存详解 
ChenghuiZ 评论(0) 有506人浏览 2017-06-27 09:59

(转)HDFS NameNode内存全景

转载自:http://tech.meituan.com/namenode.html 小桥 ·2016-08-26 11:20 一、概述 从整个HDFS系统架构上看，NameNode是其中最重要、最复杂也是最容易出现问题的地 ...
hdfsNameNode内存 
ChenghuiZ 评论(0) 有743人浏览 2017-06-27 09:54

hadoop源码学习之namenode启动

概述 namenode格式化 namenode的启动 整体流程 服务启动流程详解 pendingReplications datanodeManager replicationThread blockReportThread   概述
hadoop源码namenode解析 
zhangjun5965 评论(0) 有923人浏览 2017-04-18 21:53

zookeeper实现namenode的高可用(HA)(第三篇)

 此篇的目的是怎么检错以及原理   192.168.159.31(node1)                Namenode   192.168.159.32(node2) zookeeper      Datanode     JN(JournalNode)    192.168.159.33(node3) zookeeper      Datanode     JN   19 ...
zookeeperHAnamenodelog 
youguofu 评论(0) 有1067人浏览 2016-03-27 22:54

利用zookeeper来实现namanode的高可用(HA)(第二篇)

利用zookeeper来实现namanode的高可用(HA)(第二篇,接上篇)     机器设备:为了叙述方面 采用nodeX的形式来表示主机名 192.168.159.31(node1)                Namenode   192.168.159.32(node2) zookeeper      Datanode     JN(JournalNode)    1 ...
zookeeperHAnamenode 
youguofu 评论(0) 有1768人浏览 2016-03-27 22:32

zookeeper环境的搭建,来实现namenode的高可用(HA)(第一篇)

zookeeper来实现namenode的高可用(HA)(第一篇,此篇讲解搭建zookeeper环境)   机器设备:为了叙述方面 采用nodeX的形式来表示主机名 192.168.159.31(node1)                Namenode   192.168.159.32(node2) zookeeper      Datanode     JN(JournalNod ...
zookeeperHAnamenode 
youguofu 评论(0) 有1799人浏览 2016-03-27 21:58

HDFS的运行原理,NameNode,DataNode,client介绍

HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）。 HDFS有很多特点：     ① 保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份。     ② 运行在廉价的机器上。（商用机）     ③ 适 ...
HDFS的运行原理NameNodeDataNodeclient 
youguofu 评论(0) 有974人浏览 2016-03-18 16:46

Hadoop2.7.1配置NameNode+ResourceManager高可用原理分析

关于NameNode高可靠需要配置的文件有core-site.xml和hdfs-site.xml 关于ResourceManager高可靠需要配置的文件有yarn-site.xml 逻辑结构： NameNode-HA工作原理： 在一个典型的HA集群中，最好有2台独立的机器的来配置NameNode角色，无论在任何时候，集群中只能有一个NameNode作为Active状态，而另一个是Stan ...
hadoopmapreducenamenodeha 
qindongliang1922 评论(0) 有3184人浏览 2015-11-11 19:51

Hadoop2.7.1+Hbase1.2.1集群环境搭建(3)1.x和2.x都支持的集群安装方式

(1)hadoop2.7.1源码编译 http://aperise.iteye.com/blog/2246856 (2)hadoop2.7.1安装准备 http://aperise.iteye.com/blog/2253544 (3)1.x和2.x都支持的集群安装 http://aperise.iteye.com/blog/2245547 (4)hbase安装准备 ...
hadoop分布式安装namenodescondarynamenode 
zilongzilong 评论(0) 有12746人浏览 2015-09-23 16:51

Hadoop源码分析之NameNode的目录构成与类继承结构

与DataNode节点类似，NameNode节点也有自己的目录和类继承结构，但是NameNode节点的目录结构比DataNode节点就简单多了，下面就来简单分析NameNode节点的目录构成与类继承结构。 NameNode的目录构成 在NameNode节点运行时，维护着整个HDFS中的文件及目录信息，如果NameNode出现故障，如掉电或进程崩溃，那么内存中的信息将全部丢失，因此必须将内存中的 ...
namenodeHadoophdfs超人学院 
超人学院 评论(0) 有164人浏览 2015-05-20 14:31

分布式文件系统HDFS简介

            本文转自http://storage.chinabyte.com/107/12416607.shtml。   　　Hadoop 分布式文件系统 (HDFS) 是运行在通用硬件上的分布式文件系统。HDFS 提供了一个高度容错性和高吞吐量的海量数据存储解决方案。HDFS 已经在各种大型在线服务和大型存储系统中得到广泛应用，已经成为各大网站等在线服务公司的海量存
DataNodeHDFSNameNode容错 
seandeng888 评论(0) 有1246人浏览 2015-05-14 16:19

hadoop2.6.0版本搭建伪分布式环境

由于个人需要在自己的笔记本上搭建hadoop伪分布环境，为了方便自己使用，如想看机器也看之前的一篇博客：hadoop2.6.0版本集群环境搭建 一台虚拟机，配置信息如下： 内存：1G，cpu：一个core,硬盘：15G 1、修改下主机名为master sudo vi /etc/sysconfig/network 修改结果后： 重启电脑后再查看结果：
hadoopmapreducenamenodehdfsyarn 
Stark_Summer 评论(0) 有6966人浏览 2015-02-06 15:58

Hadoop 解除 "Name node is in safe mode"（转）

运行hadoop程序时，有时候会报以下错误：org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode这个错误应该还满常见的吧（至少 ...
hadoopnamenodesafe 
MNTMs 评论(0) 有1080人浏览 2014-06-29 00:58

hdfs-ha热备原理

下面的总结来自于：http://dongxicheng.org/hadoop-hdfs/hdfs-ha-federation-deploy/               Hadoop 2.0中的HDFS增加了两个重大特性，HA和Federaion。HA即为High Availability，用于解决NameNode单点故障问题，该特性通过热备的方式为主NameNode提供一个备用者，一旦主Na ...
Hadoophdfshanamenodedatanode 
dengqsintyt 评论(0) 有1890人浏览 2014-06-21 22:43

hadoop学习笔记-prc通信原理

rpc(remote procedure call) 不同java进程间的对象方法调用 一方称作服务端（server），一方称作客户端（client）。 server端提供对象，供客户端调用，被调用的对象的方法的执行发生在server端。   rpc是hadoop框架运行的基础。   下面是一个基于hadoop的rpc框架的例子： 服务端代码：   package rpc; ...
hadooprpcnamenode 
yehao0716 评论(0) 有962人浏览 2014-02-27 20:38

hadoop灾备

master 故障测试(冷备方案NameNode故障手动切换)： 1. 不切换 NameNode 主机。    1).复制 SecondaryNameNode 的 fs.checkpoint.dir 目录的数据到 NameNode 的对应目录。    2).清空 NameNode 的 dfs.name.dir 目录的数据，保留空目录。    3).在 NameNode 主机执行 hadoop n ...
NameNode故障 
dengbenji 评论(0) 有1093人浏览 2013-11-23 13:07

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics