kabike
- 浏览: 615247 次
- 性别:
- 来自: 大连
-
最新评论
-
fei33423：
同意你的说法. hbase 的强一致性分为两部分来说. 数据分 ...
浅谈Hbase 的强一致性 -
zengwenbo5566：
,高人，刚安装了 genymotion 那个附带 virtu ...
VirtualBox报错Unable to load R3 module GetLastError=1790 (VERR_UNRESOLVED_ERROR -
kabike：
QQ1289714862 写道这代码有问题吧 bar1 bar ...
AtomicBoolean运用 -
QQ1289714862：
这代码有问题吧 bar1 bar2 那来的 你是不是new了两 ...
AtomicBoolean运用 -
DEMONU：
需要依赖这么多东西啊
hbase 0.96和hadoop 2.2 java 客户端的jar依赖
文章列表
启动hadoop集群出错,
写道
ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.lang.IllegalArgumentException: Does not contain a valid host:port authority: hdfs://hadoop.01:9000
查了一下,hadoop的hostname不能有"."之类的字符.鄙视
其实是host的最后的部分不能以数字开头
写道
The rightmost domain label of a fully quali ...
java 8中的lambda表达式
- 博客分类：
- 基础
java一开始设计的是完全面向对象的,所以一等公民都是对象.函数只是作为对象上的附属.而python,scala等语言中,则有一些函数式编程的特点.不过java 8也提供了lambda表达式,使java也具有了一些函数式编程的特点,带来了一些便利.
1 方法引用
假设我们写一个窗体,窗体上有一个button和一个label,点击button时要改变label的内容.
先看看原来的写法
public class BarWindow extends JFrame {
public BarWindow() {
button.addActionListener(new MyB ...
maven.test.skip连编译test类都skip了
引用If you absolutely must, you can also use the maven.test.skip property to skip compiling the tests. maven.test.skip is honored by Surefire, Failsafe and the Compiler Plugin.
有时候我们需要编译test类,但是不执行test,可以使用skipTests
http://jira.codehaus.org/browse/MJAR-138
1 如何知道一个文件在HDFS上block的分布情况
http://stackoverflow.com/questions/6372060/how-to-track-which-data-block-is-in-which-data-node-in-hadoop
2 用windows 电脑向linux hadoop集群上提交job失败
org.apache.hadoop.util.Shell$ExitCodeException: /bin/bash: line 0: fg: no job control
这是hadoop的bug https://issues.apache.org/jira/ ...
CMS是比较常用的一种gc方法,但是默认情况下CMS不进行compact,因此往往出现内存碎片.
而hbase中由于region数据的非集中分布,更容易导致内存碎片.此时在内存还有很大可用空间的时候,也不能创建对象,导致了stop the world
hbase可以使用MSLAB(MemStore-Local Allocation Buffer),使得一个region的对象集中在一起,避免了内存碎片
http://blog.cloudera.com/blog/2011/02/avoiding-full-gcs-in-hbase-with-memstore-local-allocation-b ...
在c#中使用arcglobe,发现更改DefinitionExpression后不能刷新,此时需要调用RefreshLayer方法
IScene scene = (IScene)axGlobeControl1.Globe;
ILayerDescription layerDescription = (ILayerDescription)scene.Layer[0];
layerDescription.DefinitionExpression = "locationName='bar'";
((IG ...
绘制矩形需要用到橡皮条工具 RubberBand
ESRI.ArcGIS.Display.IScreenDisplay screenDisplay = activeView.ScreenDisplay;
// Constant.
screenDisplay.StartDrawing(screenDisplay.hDC, (System.Int16)
ESRI.ArcGIS.Display.esriScreenCache.esriNoScreenCache); // Explicit ...
要想测试hbase的功能,不一定非要启动hbase集群,可以用HBaseTestingUtility在本地进行hbase的部分功能调试
TableName tableName = TableName.valueOf("testBar");
String family = "cf";
HTableDescriptor htd = new HTableDescriptor(tableName);
htd.addFamily(new HColumnDescriptor(family));
HRegionInfo info = ...
hbase和hdfs的一些故事
- 博客分类：
- 大数据
hdfs一开始设计的时候,文件是只能写入一次,然后就只读的.一开始工作的相安无事,但是有一天,hbase跑到了hdfs上,hbase作为数据库,总要保持一定的持久性,所以它弄了个log,叫做wal,记录每一次操作,这样就算region server系统崩溃,Memstore的东西毁于一旦,还是可以靠wal来恢复.问题在于wal是存储在hdfs上的,hdfs上的文件只有被正确close以后,才是合法的hdfs文件.因此我认为wal有以下几种方案
1 每次操作产生的wal都成为单独的hdfs文件.这个方案产生的hdfs文件太多,不现实
2 只保持一个wal文件在hdfs上处于open,每次操作产生的 ...
arcgis的镶嵌数据集和影像服务
- 博客分类：
- GIS
arcgis可以把栅格数据发布为镶嵌数据集,镶嵌数据集可以发布为影像服务.
影像服务比起传统的底图图层有以下好处
1 可以提供影像的查询和下载,此时的影像可以像要素类一样进行属性的查询和空间位置的查询,并且能够提供下载
2 可以调用服务器端的函数
遇到几个问题
1 镶嵌数据集的图像不显示.这时需要build overview ,overview就好像raster的pyramids http://blogs.esri.com/esri/arcgis/2010/10/05/mosaic-dataset-wireframe-not-image-huh
2 大尺寸的影像无法下载.这是因为默 ...
大数据真是愈演愈烈,GIS的数据说起来也是海量.所以两者也算一拍即合.大数据和GIS结合起来怎么搞呢?
1 大数据作为GIS的数据源.
其实arcgis在shapefile,file geodatabase ,ArcSDE之外,可以通过plug in 的方式使用数据源.
http://help.arcgis.com/en/sdk/10.0/arcobjects_net/conceptualhelp/index.html#/Plug_in_data_sources/000100000003000000/
比如arcgis官网就介绍了有人用plugin的方式使用了mongodb作为数据源
http ...
主要是使用esri公司的开源项目https://github.com/Esri/gis-tools-for-hadoop
其中几个问题
1 geoprocessing-tools-for-hadoop要求arcgis 10.1,其实还要sp1
2 hive使用mysql作为存储,在hive上创建表时,报错
Specified key was too long; max key length is 767 bytes,需要把数据库charset改为lat1
http://zh.hortonworks.com/blog/introduction-to-hbase-mean-time-to-recover-mttr
收藏这篇文章有一段时间了,随着对hbase,hdfs理解的深入,最近才能看懂...
其实作者说的主要问题在于,hbase集群往往和hdfs集群共用物理服务器.服务器的crash,在失去一个region server的同时,也失去了一个datanode,失去datanode,直接导致一个replica的缺失.hdfs 的datanode的超时时间远远小于hbase的region server,因此在进行hbase的recovery的时候,有可 ...
arcgis进行空间连接,聚合统计
- 博客分类：
- GIS
http://blogs.esri.com/esri/arcgis/2013/03/25/gis-tools-for-hadoop介绍了用hadoop统计美国各州地震发生次数,如果不用hadoop,类似的空间分析怎么做呢?
假设有两个要素类,点要素类表示降雨事件,包括了降雨量rain属性.面要素类表示三个地区,包括了地区名称name属性.现在假设统计三个地区的降雨量
首先进行空间连接
空间连接后的要素类将同时具有name和rain属性
按照name聚合统计rain即可
用modelbuilder可以进行流程化的操作.比如我们要对一个文件夹里的所有航片进行投影变换,这时可以用iterator对文件夹进行遍历,依次进行投影变换.投影变换的输出名字要使用变量替换(即本例中的%Name%),否则后一个文件会覆盖前一个.