博客首页 → namenode

最新文章列表

Hadoop Eclipse Plugin Connect Fail 连接namenode失败

Linux Version:Ubuntu12.04 X86_64 Server Version Eclipse Juno Hadoop1.0.4 namenode机子信息 机器名ubuntu ip地址192.168.1.111 附件 下载地址 hadoop-eclipse-plugin-1.0.4.jar  与JDK7兼容 用eclipse连接集群查看文件信息提示9000端口拒绝连接的错 ...
hadoop1.0.4eclipse-pluginNamenodeConnect Refused 
Menuz 评论(3) 有9289人浏览 2013-04-16 19:25

Hdfs-NameNode启动过程

懒得写了，借阅地址 http://www.linuxidc.com/Linux/2012-01/51614.htm
HadoopNameNode 
跑轮里的冠军 评论(0) 有1454人浏览 2013-04-10 10:36

Hadoop自带Web管理监控功能

        H adoop 的 W eb 管理主要分为两块，一块是对文件系统的监控，一块是对任务的监控。   文件系统监控：          浏览文 ...
hadoopweb管理namenodeDataNodeDFS 
dagmom 评论(0) 有5850人浏览 2012-08-06 09:44

hadoop集群环境下主机与从机之间使用同一账户的原因

namenode节点和datanode节点最好使用统一的用户名，并且安装目录最好一致。因为在namenode节点通过ssh控制datanode节点时，默认按照namenode节点的配置环境在datanode节点的同样目录下找寻配置文件，若安装目录或者用户名不同，则出现文件不存在或者无法找到的错误。
namenodedatanodessh 
summerworm 评论(0) 有1240人浏览 2012-06-06 17:30

ipc.Client: Retrying connect to server. ——hadoop学习第1天

第一天,配置hadoop，伪分布式，出现错误 按照教程：输入 bin/hadoop fs -get output output 结果出现如下错误： ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 0 time(s).   cat logs/hadoop-[用户名]-nameno ...
hadoop第一天namenodeInconsistentFSStateException 
lvdccyb 评论(0) 有3695人浏览 2012-03-13 20:27

hadoop 添加删除datanode及tasktracker

hadoop 添加删除datanode及tasktracker 首先： 建议datanode和tasktracker分开写独立的exclude文件，因为一个节点即可以同时是datanode和tasktracker，也可以单独是datanode或tasktracker。 1、删除datanode 修改namenode上的hdfs-site.xml <property> < ...
datanodehadooptasktrackerjavanamenode 
黎明lm 评论(0) 有1671人浏览 2012-02-14 12:51

Hadoop的rmr和trash

这两天在操作Hadoop集群时，由于一个误操作，制作了一个天大的悲剧 不小心把Hadoop集群上的所有文件全部删除了，具体情况是这样的： 我用hadoop的超 ...
hadooprmrfsdfsnamenode 
hmilyzhangl 评论(0) 有1538人浏览 2012-02-14 10:56

Hadoop&Hbase 备份方案--NFS

Hadoop&Hbase 备份方案--NFS 需求： 实现namenode元数据的备份，解决namenode单点宕机导致集群不可用的问题。 方案描述： 当namenode所在服务器宕机的时候 ...
namenodenfshadoopcheckpointsecondarynamenode 
黎明lm 评论(0) 有1489人浏览 2011-12-26 09:13

google HDFS

根据GFS中主服务器/块服务器的设计，HDFS采用主服务器/从属服务器架构。HDFS集群是由一个NameNode 和一定数目的DataNode组成，NameNode是一个中心服务器，负责管理文件系统的名称空间和客户端对文件的访问。DataNode节点在集群是一个节点一个，负责管理节点上附带的存储。 NameNode执行文件系统的名称空间操作，如打开、关闭、重命名文件和目录，同时决定到具体数据节点的 ...
namenodedatanodehdfs 
y_x 评论(0) 有1311人浏览 2011-12-23 22:23

Hadoop配置的关键（Hdfs部分）

Hadoop配置的关键（Hdfs部分） Hadoop配置的关键（Hdfs部分）指的是namenode和datanode几点的区别： 相同点：           1.安装hadoop相同           2.安装jdk相同（注意：jdk1.6以上）   不同点：           1.namenode和datanode的/etc/hosts中指定的内容不同：         ...
hadoopnamenodedatanodehdfscore-site.xml 
zhangpuego 评论(0) 有770人浏览 2011-12-02 10:24

hadoop的namenode和secondnamenode分开部署在不同服务器

一、系统环境： Hadoop 0.20.2、JDK 1.6、Linux操作系统 二、使用背景 网上关于hadoop的集群配置，很多情况下，都是把namenode和secondnamenode部署在同一服务器上。为了降低风险，一个大的集群环境，最好是把这两个配置到不同的服务器上。 三、操作 要达到这要求，需要对conf/master、conf/hdfs-site.xml和conf/core-sit ...
namenodesecondnamenodehadoop 
szjian 评论(0) 有3789人浏览 2011-11-03 17:55

解决hadoop的启动异常

启动hadoop出现异常，查看namenode日志： java.io.IOException: File /tmp/hadoop-root/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1 网上查找原因，有这样的解决办法： 引用问题:I am trying to resolve an ...
hadoopnamenode 
jackiee_cn 评论(0) 有1918人浏览 2011-10-14 08:28

hadoop的hdfs的namnode源码分析(一)

RandomAccessFile 此类的实例支持对随机访问文件的读取和写入。随机访问文件的行为类似存储在文件系统中的一个大型 byte 数组。存在指向该隐含数组的光 ...
hadoophdfsnamenode源码分析 
liaobinxu 评论(0) 有4429人浏览 2011-10-09 22:22

HDFS:NameNode的Proxy该怎样做

    在上篇blog中提到了HDFS的功能扩展点：Service plugin，它存在于NameNode和DataNode中。HDFS赋予它们可以操作这两个大对象的能力，这也完全提供我们在HDFS ...
hdfsnamenode 
langyu 评论(6) 有4044人浏览 2011-09-05 11:10

HDFS: EditLog的完整性增强

　　用户对HDFS的每步操作都会先记录到NameNode磁盘中的EditLog文件中。为了避免频繁操作磁盘对用户操作效率的影响，HDFS为EditLog在内存中分配两个buffer:一个用于接收用户操作指令；另外一个在用户想要刷新第一个buffer内数据时开始担当接收用户指令的职责。之后两块buffer不断切换角色，进行着上述操作。 　　正是因为有内存中buffer的存在，当管理员shutdo ...
namenodehdfseditlog 
langyu 评论(0) 有5397人浏览 2011-09-04 15:42

hadoop集群配置

hadoop部署： 登录用户：suse HOSTNAME:server0 4台机器： 192.168.2.10  server0(namenode) 192.168.2.11  server1(datanode) 192.168.2.12  server2(datanode) 192.168.2.13  server3(datanode) 1.首先强调的是 确保各个机器节点之间(任意两台机器之 ...
hadoopmapreducenamenodesuse 
黎明lm 评论(0) 有2409人浏览 2011-08-18 15:19

windows下跑伪分布hadoop，问题小记

问题目录表： 1，Bad connection to FS. command aborted. exception: Call to localhost/127.0.0.1:8888 failed on connection exception: java.net.ConnectException: Connection refused 2，Bad connection to FS. ...
hadoop问题namenodeconnection 
RookieDong 评论(1) 有5459人浏览 2011-08-18 15:17

no namenode to start

问题： no namenode to start no jobtracker to start no tasktracker to start 解决方法: (1)查看hadoop配置文件 是否有误 <name>fs.default.name</name> <value>hdfs://sev144:9000</value> <name>m ...
hadoopnamenodejobtrackertasktracker 
panwubin470 评论(0) 有744人浏览 2011-08-01 12:12

Hadoop分布式时远程Datanode无法启动的解决

   blog迁移至 :http://www.micmiu.com 问题的基本现象： 在测试Hadoop的分布式环境搭建时，在namenode启动时信息如下： 引用[michael@shnap hadoop]$ bin/start-all.sh starting namenode, logging to /home/michael/hadoop/bin/../logs/hadoop-micha ...
Hadoopnamenodedatanode 
sjsky 评论(2) 有6684人浏览 2011-07-17 07:30

最近博客热门TAG

Java(141741) C(73643) C++(68602) SQL(64557) C#(59604) XML(59131) HTML(59042) JavaScript(54916) .net(54782) Web(54511) 工作(54116) Linux(50906) Oracle(49861) 应用服务器(43285) Spring(40811) 编程(39452) Windows(39380) JSP(37540) MySQL(37266) 数据结构(36420)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics