文章列表
单机版安装
单机安装十分简单：
1）将neo4j的community版本下载完毕后，进行解压，运行的命令是：tar –zvxf neo4j-community-2.0.1.tar.gz
2）修改conf/neo4j-server.properties配置文件，将org.neo4j.server.web ...
我们的负载均衡架构是这样的：
请求 —> 网络 —> LVS集群 —> Nginx 集群 —> APP
LVS使用FULLNAT模式，每台Nginx 机器只有一个IP(内网IP)，LVS也是把流量转到这个IP。如果Nginx想对 ...
HBase 系统架构图
组成部件说明 Client： 使用HBase RPC机制与HMaster和HRegionServer进行通信 Client与HMaster进行通信进行管理类操作 Client与HRegionServer进行数据读写类操作 Zookeeper： Zookeeper Quorum存储-ROOT-表地址、HMaster地址 HRegionServer把自己以Ephedral方式注册到Zookeeper中，HMaster随时感知各个 ...
下面介绍Hbase的缓存机制： a.HBase在读取时，会以Block为单位进行cache，用来提升读的性能
b.Block可以分类为DataBlock(默认大小64K,存储KV)、BloomBlock(默认大小128K,存储BloomFilter数据)、IndexBlock(默认大小128K,索引数据，用来加快Rowkey所在DataBlock的定位)
c.对于一次随机读，Block的访问顺序为BloomBlock、IndexBlock、DataBlock，如果Region ...
云原生计算基金会 CNCF 首次发布了 Kubernetes 项目历程报告。Kubernetes 托管于 CNCF，它是目前使用最广泛的容器编排平台，通常被称为“云端 Linux”，CNCF 介绍此报告旨在客观地评估 Kubernetes 项目的状态以及 CNCF 如何影响 Kubernetes 的发展和增长。Kubernetes 项目的首次 commit 发生在 2014 年 6 月 ...
集群建备份，它是master/slaves结构式的备份，由master推送，这样更容易跟踪现在备份到哪里了，况且region server是都有自己的WAL 和HLog日志，它就像mysql的主从备份结构一样，只有一个日志来跟踪。一个master集群可以向多个slave集群推送，收到推送的集群会覆盖它本地的edits日志。
这个备份操作是异步的，这意味着，有时候他们的连接可能是断开的，master的变化不会马上反应到slave当中。备份个格式在设计上是和mysql的statement- ...
使用hbase的目的是为了海量数据的随机读写，但是在实际使用中却发现针对随机读的优化和gc是一个很大的问题，而且hbase的数据是存储在Hdfs，而Hdfs是面向流失数据访问进行设计的，就难免带来效率的下降。下面介绍一下Facebook Message系统在HBase online storage场景下的一个案例（《Apache Hadoop Goes Realtime at Facebook》, SIGMOD 2011），最近他们在存储领域顶级会议FAST2014上发表了一篇论文《Anal ...
HBase Snapshots允许你对一个表进行快照（即可用副本），它不会对Region Servers产生很大的影响，它进行复制和 恢复操作的时候不包括数据拷贝。导出快照到另外的集群也不会对Region Servers产生影响。 下面告诉你如何使用Snapshots功能
1.开启快照支持功能，在0.95+之后的版本都是默认开启的，在0.94.6+是默认关闭
<property>
<name>hbase.snapshot.enabled</nam ...
最近一个群友的boss让研究hbase，让hbase的入库速度达到5w+/s，这可愁死了，4台个人电脑组成的集群，多线程入库调了好久，速度也才1w左右，都没有达到理想的那种速度，然后就想到了这种方式，但是网上多是用mapreduce来实现入库，而现在的需求是实时入库，不生成文件了，所以就只能自己用代码实现了，但是网上查了很多资料都没有查到，最后在一个网友的指引下，看了源码，最后找到了生成Hfile的方式，实现了之后，发现单线程入库速度才达到1w4左右，和之前的多线程的全速差不多了，百思不得其 ...
这个是华为的二级索引方案，已经开放源代码了,下面是网上的一篇讲解原理的帖子，发出来和大家共享一下。
经过本人认真阅读了一下代码，发现这个源码仅供参考，想要集成到原有的集群当中是有点儿难度的，它对hbase的源码进行不少的修改。
源码地址：https://github.com/Huawei-Hadoop/hindex
下面来对其方案做一个分析。
1.整体架构
这个架构在Client Ext中设定索引细节，在Balancer中收集信息，在Coprocessor中管理二级索引数据。
在hbase的demo里面有个IndexBuilder的例子，它就是使用了MapReduce来操作hbase的，例子也比较简单，但是只包括了Mapper。
另外网上还有另外一个例子，也是说明这个的，这个例子更为全面一点，包括了Mapper和Reducer。
http://www.cnblogs.com/chenli0513/archive/2012/01/06/2314886.html
这里就不说什么了，很简单，一看就懂。
...
一直以来对rowkey的设计都比较迷茫，《hbase权威指南》倒是给出了个还算靠谱的例子。
下面这个例子有点儿像帖子表结构，它的rowkey设计是这样的，可以简单的理解为，什么人在什么时间发了什么信息，信息包括什么附件，它是用户为主线的一个设计。
<userId>-<date>-<messageId>-<attachmentId>
如果我们想查某个用户发的信息，我们可以设置scan的start rowkey 为该userId，end ro ...
前言在应用实际的运维过程中，我们需要更多的日志和监控来让我们对自己的应用程序的运行状况有一个全方位的了解。然而对于大部分开发者而 ...
1.垃圾回收器调优
当我们往hbase写入数据，它首先写入memstore当中，当menstore的值大于hbase.hregion.memstore.flush.size参数中设置的值后，就会写入硬盘。
在hbase-env.sh文件中，我们可以设置HBASE_OPTS或者HBASE_REGIONSERVER_OPTS，后者只影响region server进程。
export HBASE_REGIONSERVER_OPTS="-Xmx8g -Xms8g -X ...
前言今年4月份的时候，和平台组的同事一起调研了一下Nacos，也就在那个时候写了.net core版本的非官方版的SDK。虽然公司内部由于某些原因最后没有真正的用起来，但很多人还是挺看好的。在和镇汐大大沟通后，决定写一篇博客简单介绍一下。下面这个图，就是本文的重点了。Nacos的简介Nacos是一个易于构建云原生应用的动态服务发现、配置管理和服务管理平台，它提供了一组简单易用的特性集， ...