博客专栏 - Hadoop学习

Hadoop学习

Hadoop-Hdfs Hadoop-MapReduce HBase等源码阅读

Hadoop学习四十：Phoenix二级索引浅谈

一.概述 Hadoop2.2.0 Hbase0.96.1.1 Phoenix-2.2.0-SNAPSHOT Phoenix官网上提供了三个与Hbase兼容的版本，分别为Phoenix2.X-Hbase0.94.X ，Phoenix3.X-Hbase0.94.X，Phoenix4.X-Hbase0.98.1+，没有与Hbase0.96兼容的版本。幸运的是git上有Phoenix Hba ...

zy19982004 评论(1) 有19281人浏览 2014-06-30 09:34

Hadoop学习三十九：HBase与MapReduce集成

一.概述 HBase与MapReduce集成时，有以下三种情形 HBase作为数据流向。 HBase作为数据源。 HBase作为数据源和数据流向。阅读本文前，最好先了解http://zy19982004.iteye.com/blog/2068112 二.HBase作为数据流向 HBase作为数据流向时，如从Hdfs里向HBase里 ...

zy19982004 评论(0) 有10833人浏览 2014-05-19 14:09

Hadoop学习三十八：MapReduce job.setNumReduceTasks(0)思考

一.概述在http://zy19982004.iteye.com/blog/2037549的最后曾经提到过，这里再详细探讨一下。二.job.setNumReduceTasks(0)唯一影响的是map结果的输出方式 ...

zy19982004 评论(0) 有13505人浏览 2014-05-19 11:01

Hadoop学习三十七：HBase比较负数

一.HBase存储 HBase存储的都是字节码。我们也知道，计算机系统里，数值一律采用补码来表示和存储（http://zy19982004.iteye.com/blog/1706138）。那么Integer(-1)在HBase里将被存储为\xFF\xFF\xFF\xFF，Integer(1)在Hbase里将被存储为\x00\x00\x00\x01。再来看看 ...

zy19982004 评论(0) 有6031人浏览 2014-05-16 11:10

Hadoop学习三十六：使用BulkLoad时Bulk load operation did not find any files

一.错误使用BulkLoad向Hbase导入数据时出现了错误 2014-04-04 15:39:08,521 WARN org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles - Bulk load operation did not find any files to load in directory hdfs://1 ...

zy19982004 评论(0) 有8215人浏览 2014-04-05 20:24

Hadoop学习三十四：Hadoop-MapReduce Job本地运行流程

一. 版本环境以前工作的过程中，陆陆续续看过一些Hadoop1.0 MapReduce的源码，但没有形成体系。现在再次来看，顺便记录。此次学习版本的是Hadoop2.2.0 MapReduce。环境为直接在Win7下Local模式调试。MapReduce。二. Job提交流程从Job waitForCompletion开始 1 Job submit 1. ...

zy19982004 评论(0) 有7824人浏览 2014-03-27 15:40

Hadoop学习三十三：Hadoop-HBase Bulk Load使用翻译

一. 地址 http://hbase.apache.org/book.html#arch.bulk.load 写道 9.8. Bulk Loading 9.8.1. Overview HBase includes several methods of loading data into tables. The most straightforward method ...

zy19982004 评论(0) 有2466人浏览 2014-03-18 14:20

Hadoop学习三十二：Win7下无法提交MapReduce Job到集群环境

一. 对hadoop eclipse plugin认识不足 http://zy19982004.iteye.com/blog/2024467曾经说到我最hadoop eclipse plugin作用的认识。但事实上我犯了一个错误，Win7 Eclipse里的MyWordCount程序一直在本地运行，没有提交到集群环境上运行（查看192.168.1.200:50030）没有这个Job ...

zy19982004 评论(11) 有41327人浏览 2014-03-14 15:27

Hadoop学习三十一：Win7下HBase与MapReduce集成时XXX.jar is not a valid DFS filename

一. 代码 Hbase In Action(HBase实战)和Hbase:The Definitive Guide(HBase权威指南)两本书中，有很多入门级的代码，可以选择自己感兴趣的check out。地址分别为https://github.com/HBaseinaction https://github.com/larsgeorge/hbase-book。在Win7下运行 ...

zy19982004 评论(1) 有13951人浏览 2014-03-12 09:48

Hadoop学习三十：Win7 Eclipse调试Centos Hadoop2.2-Mapreduce

一. 自己搭建开发环境今天自己搭建了一套Centos5.3 + Hadoop2.2 + Hbase0.96.1.1的开发环境，Win7 Eclipse调试MapReduce成功。可能是版本比较高的原因，出了问题，网上找不到完整解决方案，只能靠自己。二. Hadoop安装这个就不啰嗦了，网上大把文章。我下载的是hadoop-2.2.0.tar.gz。 ...

zy19982004 评论(23) 有48013人浏览 2014-03-01 20:01

Hadoop学习二十九：Hadoop-hdfs NameNode源码成员变量

一. NameNode概述 * The NameNode controls two critical tables: * 1) filename->blocksequence (namespace) * 2) block->machinelist ("inodes") * * The first table is stored on disk and ...

zy19982004 评论(0) 有1883人浏览 2013-08-03 15:39

Hadoop学习二十八：Hadoop-hdfs FSNamesystem源码成员变量

一. FSNamesystem概述 FSNamesystem为DataNode做簿记工作，直接点就是到DataNode的请求都是经过FSNamesystem运算后的。FSNamesystem管理着几个主要的数据结构。文件名 -> 数据块(存放在FSImage和日志中) 合法的数据块列表(上面关系的逆关系) 数据块 -> DataNode(只保存在内存中，根据Dat ...

zy19982004 评论(0) 有2384人浏览 2013-08-03 14:55

Hadoop学习二十七：Hadoop-Hdfs 权限相关源码

一.Linux文件/目录权限 http://hi.baidu.com/skyforum/item/9946ef57b371789608be1747，不了解的需要做一个基本的了解。二. FsAction FsAction对应着文件/目录� ...

zy19982004 评论(0) 有2306人浏览 2013-07-10 23:12

Hadoop学习二十六：Hadoop-Hdfs Lease源码

一. Lease A Lease governs all the locks held by a single client. * For each client there's a corresponding lease, whose * timestamp is updated when the client periodically * checks in. If th ...

zy19982004 评论(0) 有1490人浏览 2013-07-09 22:00

Hadoop学习二十五：Hadoop-Hdfs FSImage源码

一. FSImage作用加载硬盘镜像文件fsimage到内存。加载硬盘日志文件edits到内存。这个本来是类FSEditlog的事情，但是是由FSImage负责调用。保存内存中文件层次结构到硬盘文件fsimage中。保存内存中操作日志到硬盘文件edits上。按照对应关系，觉得是应该有这么一步吧。但遗憾的告诉你，这一步在整个文件系统中不存在。也就是FSImage可以分为内存和硬盘 ...

zy19982004 评论(0) 有2688人浏览 2013-07-04 22:54

Hadoop学习二十四：Hadoop-Hdfs FSEditLog 源码

一. FSEditLog类图二. FSEditLog FSEditLog提供了对editlog文件的操作方法。简单的类，方法一个个看。 editStreams保存着一个fsimage下所有的editlog文件对应的输出流EditLogOutputStream。三. FSEditLog方法 void open()：Create empty edit log f ...

zy19982004 评论(0) 有2320人浏览 2013-07-03 22:46

Hadoop学习二十三：Hadoop-Hdfs FSDirectory 源码

一. FSDirectory 上文Hadoop学习二十二：Hadoop-Hdfs INode源码讲到INode是文件层次结构的反应。那文件层次结构由谁去维护，就是由FSDirectory维护。我把从客户端发起一个操作到最终完成这一操作所经过的类，依次划分为外层-底层。那FSNamesystem算的上底层的东西，FSDirectory就是更底层的东西。所有会导致文件层次结构变化的操作 ...

zy19982004 评论(1) 有2145人浏览 2013-07-03 19:47

Hadoop学习二十二：Hadoop-Hdfs INode源码

一. INode类图二. INode We keep an in-memory representation of the file/block hierarchy.This is a base INode class containing common fields for file and directory inodes.INode是文件层次结构的反应。 INo ...

zy19982004 评论(0) 有2997人浏览 2013-06-22 09:52

Hadoop学习二十一：Hadoop-Hdfs DataNode 源码

一. DataNode类图二. DateNode属性说明 DatanodeProtocol namenode：RPC代理类。RPC.getProxy(nameNodeAddress)得到远程NameNode代理类。后续的versionRequest()，register()，sendHeartbeat()，blockReceived()，blockReport()都是nam ...

zy19982004 评论(0) 有2221人浏览 2013-06-20 22:48

Hadoop学习二十：Hadoop-Hdfs 通信机制VersionedProtocol接口方法

一. VersionedProtocol //使用Hadoop RPC机制的所有协议的超类 //所有子类所以自己的协议号static final long versionID public interface VersionedProtocol { /** * 返回与指定协议protocol相关的协议版本 * @param protocol 协议接口的类名 ...

zy19982004 评论(0) 有3078人浏览 2013-06-16 00:22

专栏创建者：zy19982004
创建时间：2014-03-28 14:24:22
专栏文章数：40篇
专栏被浏览：252025 次