- 浏览: 19159 次
- 性别:
- 来自: 杭州
最新评论
-
lc_koven:
很有道理,直接读取blockindex
HBase 之mapreduce 提升
文章列表
¢A map task receives
lKey: node n
lValue: D (distance from start); points-to (list of nodes reachable from n)
¢p \in points-to: emit (p, D+1)
¢The reduce task gathers possible distances to a given p and selects the minimum one
input文件格式为:<node id><distance to the ...
关联项的求解问题非常常见,最典型的例子如“牛奶面包”问题。然而常常需要通过对具体数据的分析来获悉一些不是很明显的关联对。例如我们熟知的“啤酒尿布”关联。如果不是事先听说过这两者之间微妙的关联 ...
FlajoletMartin 算法
原始算法:
"Mining Massive dataset"中介绍的改进过程:
3-4. 构造m组hash函数,每组n个函数。对每个字符计算hash值,h11,...,h1n, h21,...,h2n,..., hm1,...,hmn
4. for each hij, get its 0-tailing length:
<!--WizRtf2Html Charset=0 -->private int rho(long v) {
int rho = 0;
for (int ...
Bloom Filter
m=|bit array|, n=|S|, k=# of hash functions.
false positive=
Given m and n, will results the minimum false positive. k=-log2eps.
y=D(expression((1-exp(c*x))^x),'x')
> y
(1 - exp(c * x))^x * log((1 - exp(c * x))) - (1 - exp(c * x))^(x - 1) * (x * (exp(c * x) * c))
let y ...
近来对leveldb比较感兴趣,一来是因为之前学习了HBase,leveldb则是HBase
Regionserver的简单实现。通过学习c++代码,我发现google的工程师真是太牛了,其中很多设计都令人叹为观止。尤其是通过多层次
Iterator来封装对数的访问,让我大开眼界。
手痒,试着用Java实现LevelDB:http://code.google.com/p/leveldb-java/
大家轻拍。
在hbase客户端htable中批处理操作是通过ExecutorService实现的。ExecutorService类似于线程池,用户提交的put,delete等操作都被响应地创建了线程在ExecutorService中执行,并对各个操作的响应进行返回或异常处理。本文对ExecutorService进行初步介绍,作为hbase客户端代码学习的准备知识。
通常我们会创建一个ExecutorService对象并向其中丢一些线程,然后就任由之执行。例如下面的例子1。
package java.ExecutorServiceStudy;
import java.util.concurr ...
from:
http://www.cnblogs.com/luweiseu/archive/2012/07/14/2591477.html
连通区域标记算法
二值图像的连通区域标记过程:从仅由”1”像素(前景点)和”0”像素(背景点)组成的一幅点阵图像中,将相互邻接的”1”值像素组合成区 ...
最近在研究如何利用Mapreduce架构处理HBase中的数据。总体来看有以下两种方法:
1)借助HBase提供的package:org.apache.hadoop.hbase.mapreduce。目前package的性能不是很优,下文将详述;
2)借助Hive提供的hbase-handler,利用hive来处理后ba ...
转自:
http://blog.sina.com.cn/s/blog_83395bd50100utvz.html
今天晚上把time series chart完成了,并把它和之前的bar chart, pie chart 一起在我的手持终端上运行了一下,效果还算OK。
今天主要介绍一下Time Series Chart以及chart的设计模式(比较简单)
1. 其实Time Series Chart和Bar chart 几乎是相同的,只需要将bar换成正方形以及相连的直线即可,所以grid、title等都可以直接使用bar chart的函数来创建。
实例图如下:
2. 下图是ch ...
From:
http://blog.sina.com.cn/s/blog_83395bd50100ujwx.html
从昨天晚上开始着手写pie chart了,现在基本成形。有了之前bar chart的经验,pie的实现就比较轻松了,至少实现的过程比较明朗。pie chart依然由pie,grid,title,legend,tool tip等组成。
1. 这里的grid不是bar chart中的网格状的grid 坐标系,这里是的grid由椭圆极坐标系中的几个百分比数值组成;
2. Legend显示了不同颜色的类别名;
3. 在pie view中实现tooltip有个小小的数学问题,就是如何将 ...
From :
http://blog.sina.com.cn/s/blog_83395bd50100ugsf.html
今天算是坚持了,对昨天完工的bar chart做了一定的polish:
1)能同时画出多个分类的bar,以不同的颜色显示;
2)添加了tooltip,不过这个tooltip需要用户点击(touch)响应的bar根据bar的数据、颜色和位置等信息显示该bar的信息(分类,横坐标,纵坐标);
3) 在bar chart和chart Grid的基础上又添加了Title和legend。
简单介绍几个组成部分:
首先显示的bar chart (包括bar,Grid,title和leg ...
From:
http://blog.sina.com.cn/android4pim
基于android的chart engine现在已经很多了,最有名的应该是afreechart了。
最近刚开始学习android开发,准备从chart engine入手。计划先实现bar chart, pie chart, time series chart.
花了一段时间完成了bar chart 的雏形(白天工作,晚上只能搞一会会儿,速度比较慢自己写写Android上的Chart <wbr>Engine).
先贴几张图,希望能坚持做下去。
目前的代码架构和效率还没有精心设计,大概的结构如下, ...