x-rip
- 浏览: 106917 次
- 性别:
- 来自: 杭州
-
最新评论
-
xurping：
kolor 写道呵呵 ，一直在用kryo，不过都没有去分析过它 ...
Kryo为什么比Hessian快 -
xjl456852：
你好,我感觉那个加x70是不是有问题啊.x65在其基础上加x7 ...
Kryo为什么比Hessian快 -
di1984HIT：
呵呵，挺复杂啊，能分享一下么
Storm 与 Esper -
x-rip：
marsorp 写道使得Esper中利用持久层数据库做过滤、查 ...
Storm 与 Esper -
marsorp：
使得Esper中利用持久层数据库做过滤、查询等操作就形同鸡肋。 ...
Storm 与 Esper
文章列表
H2 Database中客户端与服务端的协议对照表
Kryo 是一个快速高效的Java对象图形序列化框架，它原生支持java，且在java的序列化上甚至优于google著名的序列化框架protobuf。由于protobuf需要编写Schema文件（.proto），且需静态编译。故选择与Kryo类似的序列化框架Hessian作为比较来了解一下Kryo为什么这么快。
序列化的过程中主要有3个指标：
1、对象序列化后的大小
一个对象会被序列化工具序列化为一串byte数组，这其中包含了对象的field值以及元数据信息，使其可以被反序列化回一个对象
2、序列化与反序列化的速度
一个对象被序列化成byte数组的时间取决于它生成/解析byte数组 ...
序列化框架性能对比（kryo、hessian、java、protostuff）
简介：
优点
缺点
Kryo
速度快，序列化后体积小
转自：http://www.cubrid.org/blog/dev-platform/how-to-analyze-java-thread-dumps/
When there is an obstacle, or when a Java based Web application is running much slower than expected, we need to usethread dumps. If thread dumps feel like very complicated to you, this article may help you very much. He ...
Job的初始化
1.WordCount.java
public static void main(String[] args) throws Exception {
// 初始化Configuration
Configuration conf = new Configuration();
--> Configuration.java 默认构造函数执行this(true);即
public Configuration(boolean loadDefaults) {
// 设定加载默认设置
this.loadDefau ...
Yarn/MRv2中MapReduce的启动过程之Client端
Hadoop版本0.23.1
Shell端
$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-0.23.1.jar wordcount input output
Client端
1、 bin/hadoop文件
（该文件主要用于解析hadoop的命令参数，并传给相应的Java类进行处理，其中与运行WordCount相关代码如下）
#将第一个参数即字符串jar传给参数COMMAND ...
2. ResourceManager端
Client端通过YarnRunner.submitJob()将Application提交给了ResourceManager。
连接Client与ResourceManager的协议为ClientRMProtocol，该协议的实现类为ClientRMService。
1) ClientRMService.java
Client端与ResourceManager交互的所有操作最终都是由ClientRMService中的操作实现的。以submitApplication()为例。
public SubmitApplication ...
YARN/MRv2 Client端 源码分析
- 博客分类：
- Hadoop
1. 客户端
1)Job.java
用户编辑好的MapReduce程序会通过Job.waitForCompletion(true)提交任务。
public boolean waitForCompletion(boolean verbose
) throws IOException, InterruptedException,
ClassNotFoundException {
// 通过submit()方法提交Job
if (state == JobState.DEFINE) {
submit() ...
1. 申请Application
1) 连接ResourceManager
YarnConfiguration yarnConf = new YarnConfiguration(conf);
InetSocketAddress rmAddress = NetUtils.createSocketAddr(yarnConf.get(
YarnConfiguration.RM_ADDRESS,
YarnConfiguration.DEFAULT_RM_ADDRESS));
LOG.info("Connecting to Resour ...
1. 申请Container
1) 连接ResourceManager
Configuration conf = new Configuration();
YarnRPC rpc = YarnRPC.create(conf);
YarnConfiguration yarnConf = new YarnConfiguration(conf);
// 获取ResourceManager的地址
InetSocketAddress rmAddress = NetUtils.createSocketAddr(yarnConf.get(
YarnCon ...
转自http://weibo.com/coderplay
Application
ApplicationAttempt
Job
Task
TaskAttempt
NodeManager
Container
一、前言
YARN/MRv2在处理请求时采用了基于事件驱动机制的异步编程模型SEDA，如下图所示：
事件通过Dispather中一个HandlerThread分发给该事件对应的EventHandlerService来处理。每种事件对应一种EventHandler。未被EventHandler处 ...
异常1：
2012-05-16 16:18:42,468 WARN org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch: Failed to launch container.
java.io.FileNotFoundException: File /tmp/nm-local-dir/usercache/a/appcache/application_1337150856633_0016 does not exist
at org.apache.hadoop.f ...
搭建环境： 1)hadoop版本：0.23.1 2)Linux版本：Linux version 2.6.18-164.el5 3)操作系统：Red Hat Enterprise Linux Server release 5.4拓扑结构： 总共四台机器（A、B、C、D） namenode：A、B datanode：A、B、C、D ResourceManager：B NodeManager：A、B、C、D步骤：1、下载hadoop0.23.1源代码和JAR包 wget http://labs.renren.com/apache-mirror//hadoop/core/hadoop-0.23.1/ha ...