博客首页 → hadoop入门

最新文章列表

Hadoop入门

Hadoop核心         Hadoop的核心就是HDFS和MapReduce，而两者只是理论基础，不是具体可使用的高级应用，Hadoop旗下有很多经典子项目，比如HBase、Hive等，这些都是基于HDFS和MapReduce发展出来的。要想了解Hadoop，就必须知道HDFS和MapReduce是什么。   HDFS HDFS（Hadoop Distributed File ...
Hadoop入门 
骑着上帝去环游 评论(0) 有532人浏览 2015-12-03 09:46

Hadoop入门

原文地址：http://blog.csdn.net/calvinxiu/archive/2007/02/09/1506112.aspx Hadoop 是Google MapReduce 的一个Java实现。MapReduce是一种简化的分布式编程模式，让程序自动分布 ...
Hadoop入门 
lvwenwen 评论(0) 有1032人浏览 2012-08-01 23:56

hadoop FSNamesystem中的recentInvalidateSets

  今天早就回来了，然后偷懒了2个小时，现在才开始分析代码，之前在几篇文章里都有说将某些block加入到recentInvalidateSets，然后也没分析这个set具体的作用，以及后续的处理，今天就单独来说下他（看完代码才发现原来这么简单，其实应该在ReplicationMonitor中分析的，可惜当时太晚了没心思分析了） 分析之前先看下他的数据结构 Java代码   ...
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有1009人浏览 2012-04-20 20:28

hadoop namenode后台jetty web

    现在开始分析namenode启动时开启的第2类线程，jetty web访问hadoop的功能。hadoop提供了一个很简洁但是很强大的web后台用于管理hdfs与mapreduce等，大家知道java访问web的方式就是servlet的方式，然后jetty这个轻量级的web server又提供了 HTTP server, HTTP client, 和servlet container的功能 ...
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有1684人浏览 2012-04-20 20:28

namenode任务线程之RPC

namenode需要监听和收集各个datanode的信息，需要在某个端口监听，然后等待datanode发送一些消息过来，同时这个端口也负责收集那些注册到namenode来的datanode的信息(心跳信息中带有其他元数据信息，而不是简单的心跳而已) 由 Java代码   
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有1165人浏览 2012-04-20 20:27

hadoop各配置文件加载情况

之前依据名字想当然的把fs.default.name配置在hdfs-site.xml里，结果执行ls copy等命令都是本地的方式，后调试也未果，故想了下之前自己的操作，然后看了下代码发现都是配置惹的问题，故在此总结下各配置项的加载情况。 在hadoop 0.20.2版本中存在如下几个配置文件 Java代码   
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有1493人浏览 2012-04-20 20:27

hadoop远程调试

之前的一篇blog里讲述了hadoop单机版调试的方法，那种调试只限于单机运行hadoop命令而已，对于运行整个hadoop环境而言是不可取的，因为hadoop会开启多个java进程，如果统一为一个端口启动，则启动会报错说端口被占用，同时对于jdwp agent而言也只能加载一次，故调试时单机只能有一个java进程开启debug模式，其实这个也足够了。   通过分析hadoop的启动脚本不难发现 ...
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有913人浏览 2012-04-20 20:27

namenode任务线程之FSNamesystem$SafeModeMonitor

前面5个任务线程一般会一直运行，而SafeModeMonitor当namenode满足一定条件就不执行检测了，在分析这个后台任务之前我们先来看下什么是safeMode，摘录《Hado ...
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有964人浏览 2012-04-19 16:27

namenode任务线程之FSNamesystem$ReplicationMonitor

终于可以开始分析ReplicationMonitor，他依赖了其他的任务数据，我们先来看看他的类的java doc Java代码    /**  
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有1061人浏览 2012-04-19 16:27

namenode任务线程之DecommissionManager$Monitor

因为ReplicationMonitor 依赖了其他4个所以这里先分析下DecommissionManager$Monitor DecommissionManager主要是负责节点退役或者说节点停用，而Monitor负责定时来检测这些节点的退役状态，在DecommissionManager里其实也只有Monitor在真正执行功能，我们来看下Monitor的检测实现，   首先看下影响检 ...
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有719人浏览 2012-04-19 16:26

namenode任务线程之LeaseManager$Monitor

今天分析namenode里的后台任务线程LeaseManager$Monitor，租约管理器LeaseManager负责管理租约（对于租约的概念可以看我上一篇文章），需要定时查看那些过期的租约然后销毁他们，这个从Monitor的注释中也可以看的出   Java代码   
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有1370人浏览 2012-04-19 16:26

hadoop分布式配置（服务器系统为centos5,配置时使用的用户是root）

          目前我们使用的是hadoop的核心功能，在hadoop的网站上就是hadoop-core，里面包括两个部分，一个是HDFS，也就是hadoop distributed filesysem.一个是mapred ...
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有1063人浏览 2012-04-14 21:19

hadoop系列A：多文件输出

  package org.myorg; import java.io.DataOutputStream; import java.io.IOException; import java.io.UnsupportedEncodingException; import org.apache.hadoop.io.NullWritable; import org.apache.had ...
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有1470人浏览 2012-04-14 21:18

Hadoop 安装问题和解决方案

  前几天在Window和Linux主机安装了Hadoop，版本是hadoop-0.21.0，出现了一些环境的问题，记录一下，做下备忘   1. cygwin启动Hadoop时候，总是报以下异常：  java.lang.NoClassDefFoundError: org/apache/hadoop/util/PlatformName 问题分析：出现该错误通常是找不到Main函数，而Had ...
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有1255人浏览 2012-04-10 13:21

运行Hadoop遇到的问题

  运行Hadoop遇到的问题 1, 伪分布式模式不能用root??        以root执行start-all.sh出现        localhost: Unrecognized option: -jvm        localhost: Could not create the Java virtual machine.        下面是别人的解决方案：（可以修 ...
Hadoophadoop教程hadoop入门 
jlins_you 评论(1) 有1608人浏览 2012-04-10 13:19

hadoop使用过程中的一些小技巧

hadoop使用过程中的一些小技巧 -------------------------------------------------------------------------------- 1.在Eclipse下的hadoop mapred调试
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有1166人浏览 2012-04-09 10:16

运行hadoop时的一些技巧

//用来给key分区的，需要实现Partitioner接口  conf.setPartitionerClass(Partitioner.class);  //分组，跟分区不同  conf.setOutputValueGroupingComparator(theClass);  //中间合并程序，一般跟reduce类似  conf.setCombinerClass(ComReduce.class); ...
Hadoophadoop教程hadoop入门 
jlins_you 评论(0) 有767人浏览 2012-04-09 10:14

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics