zlx19900228
- 浏览: 51777 次
- 性别:
- 来自: 杭州
-
最新评论
-
liuyindong：
咋这么复杂呢,亲
Hbase Put源码解析 -
ddvk2007：
我想請問我们会将documentSet中的不同document ...
MapReduce为什么shuffle
文章列表
In other situations, like Listing 3's bank account example, applying the fixed-order rule grows even more complicated; you need to define a total ordering on the set of objects eligible for locking and use this ordering to choose the sequence of lock acquisition. This sounds messy, but is in fact str ...
(1) 卖家导出订单部分：
卖家导出订单部分的表结构设计：
Rowkey: seller_id+ gmt_create+ parent_id+biz_order_id
Family:s quality:s value: 93个字段的String串,并且做gzip压缩。
Hbase中的参数设置：
maxVersions：1 Blocksize：128*1024 CompressionType:lzo
BloomFilterType: ROW
业务逻辑：is_main=1,is_detail=0则biz_order_id=0
卖家导出订单只会用到hbase的scan，所以先分析hbase的sca ...
java reference个人学习笔记
- 博客分类：
- 基础知识
今天在看
blog
的时候学习到了
java reference
方面的知识，这些知识是个人的学习笔记，参考blog为：
http://www.ibm.com/developerworks/cn/java/j-lo-langref/index.html?ca=drs-希望各位能拍砖，让我能了解到更深入的内容以及不足，感激
StrongReference
：
我们知道，当你调用例如
String test =
new String(“test”);
(PS:
这里只是代码实例，千万不要这么写代码，因为这是
s
tupid
的，会浪费内存空 ...
这是自己总结的mapreduce过程，依据 《Hadoop in action》希望各位多多指教
以一段mysql jdbc加载的demo为例：
String url ="jdbc:mysql://localhost:3306/jdbcana";
String username = "root";
String password = "root";
Connection con = DriverManager.getConnection(url, username, password);
首先，
Connection con = DriverManager.getConnection(u ...
mapreduce有一个shuffle过程，但是以前一直没有关注，也不清楚为什么有这样一个过程，今天在阅读Hadoop in Action的时候，看到了其中关于shuffle的介绍，结合自己的实际运用以及理解，明白了为什么需要shuffle，以wordcount为例，我们会将documentSet中的不同document放入不同的机器，即放入cluster中，当第一阶段处理完成，即这个cluster中的node完成对本身包含的document的处理之后(独立的)，会把结果sendToSecondPhase，如果secondphase是单台机器，那么If the documents are all ...
在了解
group varint
算法之前，应该对
varint
有所了解。
What is varint?
根据
google http://code.google.com/apis/protocolbuffers/docs/encoding.html
的官方解释可以很清晰的了解到，它是一种用
1
个或多个字节序列化
integer
的一种方法，
Smaller numbers take a smaller number of bytes.
传统的
integer
是以
32
位来表示的，存储需要
4
个字节，当如果整数大小在
256
以内， ...
今天根据xmind上的学习计划，看了看httpclient，确实简化了很多以前通过urlconnection去获取资源的代码，而且特别好用，最近比较喜欢听歌，Google音乐确实是个不错的东西，音乐下载的品质很不错，还可以分专辑，不爽的一点就是不能批量下载，只能一个一个下载，吭爹呢，我一个一个下载不玩死我···所以用httpclient写了个小程序，只要进入一个google专辑页面，就可以把该专辑对应的音乐全部下载下来，感觉比较好玩，呵呵，代码是小试验代码，所以什么设计模式啊之类的基本没怎么用，而且是单线程下载，还有很多改进的地方，欢迎各位拍砖。
BloomFilter是用位数组来表示一个集合，例如{s1,s2,s3,s4}那么现在保持的时候，就是用一个m位的位数组来表示该集合，存放的时候是对该集合中的一个元素做k次hash运算，运算结果是位数组下标，然后拿到该下标，将该下标对应的值 ...
原创文章，请各位多多指导，有错误希望各位能及时告诉我，感激不尽～
1． 不管客户端官方实现是采用processBatchOfRows，还是processBatchOfDeletes这种批量添加，删除，最终插入，删除的核心还是还是getRegionServerWithRetries方法，批量 ...
原创文章，请各位多多指导，有错误希望各位能及时告诉我，感激不尽～
（1） 前面我们说了，locateRegion这个函数会根据tablename，rowkey，usercache，来定位data放在哪个reginserver上，那么具体是如何定位的呢？阅读源码，一行一行的 ...
原创文章，请各位多多指导，有错误希望各位能及时告诉我，感激不尽～
（1） Put put = new Put(key);首先会构造put对象，以传入的rowkey，如果未传入时间戳，那么就会默认为null，接下来就会判断是否传入的控制hbase事务的rowlock，如 ...
这是我用java动态代理实现的动态代理机制，用dom4j读取xml文件。
proxyconfig.xml文件的配置如下：
<?xml version="1.0" encoding="UTF-8"?>
<ProxyConfig>
<proxy id='testProxy'>
<interface class='com.interfacepacage.Test'/>
<invocationHandler class='com.proxy.ProxyHander'>
<prox ...
这段时间学校没什么事情，公司的项目也暂时告一段落，于是对WEB QQ很感兴趣，上网搜索了下comet框架，发现pushlet比较好，于是开始着手研究pushlet框架，一开始，只会用它的sources.properties里面定义好的事件管理器来处理我的事件，后来发现这样不行啊，比如说聊天室的一个用户的聊天内容我要得到，并且放入数据库，用它的默认时间处理器就没办法了，于是上网找资料~~~~找啊找，找了好久，发现可以自己继承EventPullSource类或者实现EventSource接口，一开始我试验的是继承，但是发现只能广播时间，无法得到用户发来的事件的参数，这让我很纠结啊···没办法，那就实 ...
比如小弟调用了p_publish('/test','sendOne',"11"));，然后传递给了服务端
public class ServerMain extends EventPullSource{
protected long getSleepTime() {
return 3000;
}
protected Event pullEvent() {
System.out.println(envent.getField("sendOne"));
return envent;
}
}但是一直是空指针，也就是拿不到envent.g ...