zqhxuyuan
- 浏览: 32357 次
- 性别:
- 来自: 福建
-
最新评论
文章列表
public class Buffer extends OutputStream {
private final byte[] scratch = new byte[1];
public synchronized void write(int v) throws IOException {
scratch[0] = (byte)v;
write(scratch, 0, 1);
}
/**Attempt to write a sequence of bytes to the collection ...
在分析DataNode时, 因为DataNode上保存的是数据块, 因此DataNode主要是对数据块进行操作.
**A. DataNode的主要工作流程:**
1. 客户端和DataNode的通信: 客户端向DataNode的`数据块读写`, 采用TCP/IP流接口(DataXceiver)进行数据传输
2. 客户端在检测到DataNode异常, 主动发起的`数据块恢复`, 客户端会通过ClientDatanodeProtocol接口采用RPC调用的方式和DataNode通信.
3. `数据块替换和拷贝`, 由负载均衡器Balancer发起的, 是发生在Data ...
DFSClient.RemoteBlockReader.newBlockReader()
public static BlockReader newBlockReader( Socket sock, String file, long blockId, Token<BlockTokenIdentifier> accessToken,
long genStamp, long startOffset, long len, int bufferSize, boolean verifyChecksum, String clientName) throws IOEx ...
见附件内容
FileSystem
Writable
RPC概述
RPC.Client
Server
RPC
Protocol
HDFS基本概念
Hadoop Upgrade
Datanode存储
DataNode数据块读写
DataNode协议
DataNode
正在分析NameNode. 待续
内部类
作用
Call
存储客户端发来的请求
Listener
内部类
作用
Call
用于封装Invocation对象，作为VO写到服务端，同时也用于存储从服务端返回的数据
Connection
方法
说明
waitForProxy
保证namenode启动正常且连接正常，主要由SecondayNode、Datanode、JobTracker使用
stopProxy
JAVA RPC: http://jbm3072.iteye.com/blog/1088102
目标:让客户端调用远程机器(不同JVM上)的方法.
技术:RPC(Remote Process Call远程过程调用)
优点:使用RPC，可以像使用本地的程序(本地JVM)一样使用远程服务器上的程序。使用RPC的好处是简化了远程服务访问。提高了开发效率。
做法:在分发代码时，只需要将接口分发给客户端使用，在客户端看来只有接口，没有具体类实现。这样保证了代码的可扩展性和安全性。
基础:Java反射机制，动态代理，Java IO/NIO/Socket
Server接口
...
缓存配置oscache.properties
cache.memory
是否使用内存缓存; true 或 false。默认为true; 如设置为false，那cache只能缓存到数据库或硬盘中。
cache.capacity
缓存的最大数量。默认是不限制，cache不会移走任何缓存内容。负数也被视不限制。
cache.algorithm
运算规则。为了使用规则，cache.capacity必须是指定的。有下面三种规则： com.opensymphony.oscache.base.algorithm.LRUCache: last in first out ...
源码分析(1):HandlerMapping
当用户在浏览器输入一个URL地址,浏览器发起一个http请求,请求到达服务器后,首先会被SpringMVC注册在web.xml中的前端转发器DispatcherServlet接收,DispatcherServlet是一个标准的Servlet,它的作用是接受和转发web请求到内部框架处理单元
主机操作系统：Ubuntu-12.04
虚拟机操作系统：Ubuntu-10.04.iso
虚拟机软件：Virtualbox-4.2.deb
ps：从evernote复制到iteye，图片都没有，查看完整版本，移动evernote共享：
https://www.evernote.com/pub/xuyuantree/10_hadoop
设置VirtualBox的Host-only ...
Pig Hive HBase Zookeeper安装和配置
evernote共享链接: https://www.evernote.com/pub/xuyuantree/20_
hadoop@zqh:~$ cd /usr/local
hadoop@zqh:/usr/local$ sudo mkdir pig
hadoop@zqh:/usr/local$ cd /home/zqhxuyuan/downloadhadoop@zqh:/home/zqhxuyuan/download$ sudo tar zxf pig-0.10.0.tar.gz
hadoop@zqh:/hom ...
参考文档: Hadoop:The Definitive Guide3E Chapter11.Pig
代码具体地址: tomwhite-hadoop-book-32dae01\ch11\src\main\java\com\hadoopbook\pig
工具类
public class Range {
private final int start;
private final int end;
public Range(int start, int end) {
this.start = start ...
hadoop-0.20.2 单机模式和伪分布式部署
1. install cygwin sshd
2. 下载hadoop-0.20.2,解压到d:/hadoop-0.20.2
3. hadoop-evn.sh添加以下配置:
export JAVA_HOME=C:/jdk1.6
4. 单机模式
下面的实例将已解压的 conf 目录拷贝作为输入，
查找并显示匹配给定正则表达式的条目。输出写入到指定的 output 目录。
$ ssh localhost
$ export "LANG=en.UTF-8"
$ cd ...