`
文章列表
 iteye编辑器在IE8下太不好用了,写了保存到草稿里结果再编辑格式就都没了,晕 接上面的 http://rabbit9898.iteye.com/blog/1508968 ,继续  5. 写服务器端代码 servernode1.java package norbert.exam.server; import norbert.exam.util.ServerUtil; import com.linkedin.norbert.javacompat.cluster.ClusterClient; public class ServerNode1 { publ ...
Norbert简介      norbert是一个提供分布式集群服务的开发框架,具备集群管理功能,是一个开发简单的通信架构,易扩展能承受高吞吐量的框架。     norbert 应该是用scala来实现,对Netty, Protocol Buffers and Zookeeper的一个封装。 其 ...
 sensei分布式实时搜索系统源码解析(三) 分布式index    前两回写完之后,这篇关于sensei如何建立索引的部分,至今日才补上,有些惭愧。一方面,初期没有细看index这块,另外,其他事情导致精力有所分散。话转正题。 一、提供流数据的GateWay       sensei 处理建立索引的过程,可以有多种方式,总体而言,提供了一个SenseiGateWay的抽象类,   目前由如上4种实现类,并且通过注册至SenseiGatewayRegistry,来提供静态的获取getDataProviderBuilder的方法。       根据官方的文档,下图中的4种 ...
 用norbert来写高并发分布式服务框架 本来计划将sensei的相关源码系列搞完,但最近一段时间由于工作需求先调研了几种分布式的服务框架,做了简要的对比测试。根据我们自己的实际需要选取了norbert来做我们后台提供分布式服务的框架。因此,先整理一篇关于norbert框架的博文,也给自己留下个印记,以便以后来查阅。Norbert简介      “Norbert is a library that provides easy cluster management and workload distribution. With Norbert, you can quickly distribu ...
  上周的时候Dmitry突然在5.4发布在即的时候, 引入了一个新的配置项: Added max_input_vars directive to prevent attacks based on hash collision 这个预防的攻击, 就是”通过调用Hash冲突实现各种语言的拒绝服务攻击漏洞”(multiple implementations denial-of-service via hash algorithm collision). 攻击的原理很简单, 目前很多语言, 使用hash来存储k-v数据, 包括常用的来自用户的POST数据, 攻击者可以通过构造请求头, 并伴随P ...
       LinkedIn 收购了IndexTank,在收购的时候承诺开源IndexTank的技术,现在兑现了这个承诺,IndexTank引擎以Apache 2.0协议发布!IndexTank包含两部分: indextank-engine: Indexing engineindextank-service: API, BackOffice, Storefront, and Nebulizer   1. ...
基于sensei+lucene的分布式搜索终于上线了   架构采用: http://rabbit9898.iteye.com/blog/1130674   历时多时,终于今天上线了。

mongodb常用命令

mongodb由C++写就,其名字来自humongous这个单词的中间部分,从名字可见其野心所在就是海量数据的处理。关于它的一个最简洁描述为:scalable, high-performance, open source, schema-free, document-oriented database。MongoDB的主要目标是在键/值存 ...
JMX入门请参看: http://rabbit9898.iteye.com/blog/1009198 做一个服务程序,采用JMX管理,启动参数如下: JAVA_ARGS=" -server -Xms512m -Xmx1024m -XX:NewSize=64m -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=78 -XX:ThreadStackSize=128 " #jmx para JAVA_ARGS="${JAVA_ARGS} -Dcom.sun.management.jmxre ...

JMAP命令详解

    博客分类:
  • jmap
显示java进程内存使用的相关信息    jmap pid      #打印内存使用的摘要信息 jmap –heap  pid  #java heap信息 jmap -histo:live pid  #统计对象count ,live表示在使用      jmap -histo pid >mem.txt    #打印比较简单的各个有多少个对象占了多少内存的信息,一般重定向的文件 jmap -dump:format=b,file=mem.dat pid    #将内存使用的详细情况输出到mem.dat 文件    用jhat命令可以参看 jhat -port 7000 mem.da ...

Zoie发布3.0.0了

    博客分类:
  • zoie
zoie在8.1号 发布3.0.0了 见   https://github.com/javasoze/zoie/blob/master/zoie-core/pom.xml   把依赖的lucene升级了 <dependency> <groupId>org.apache.lucene</groupId> <artifactId>lucene-core</artifactId> <version>3.0.2</version> </dependency> ...
1. 约定: a. ZooKeeper Server,[server1]的ip为192.168.1.201,[server2]的ip为192.168.1.202,[server3]的ip为192.168.1.203。 b. [zk_dir]表示ZooKeeper的根目录,假设为/home/user/zookeeper c. [zk_data]表示ZooKeeper数据文件存放地址,假设为/home/user/zk_data d. [zk_trlog]表示ZooKeeper的Transaction Log目录,假设为/home/user/zk_trlog e. [zk_l ...
看来自己很懒,发现前同事的sensei 研究了 转载: http://johnnychenjun.blog.163.com/blog/static/1374934062011621111441102/   接上节的SenseiServer相关的概念,想必对sensei里面从Server启动到各种server/client的概念有所了解了。本次间隔了一周多来记录一下sensei做分布式search的过程,一周来每次重新跟进去看这些代码每次都有一些新发现和新体会,希望与大家分享,也期望更多的开发者能够了解并加入到分布式实时搜索的讨论中来。       言归正传sensei分布式搜索流程 1.  ...
看来自己很懒,发现前同事的sensei 研究了 转载:http://johnnychenjun.blog.163.com/blog/static/137493406201161163651879/   一、源码结构 首先,先从github将 sensei源码 取下。从整体代码结构上来看主要分为如下几类: 1. 提供多种index的提供数据的方式,主要在dataprovider下的几个包,及gateway下的几个包。 2. 提供client端调用的查询服务client及servlet,servlet下为提供包装搜索查询的servlet服务。 3. nodes下包含了在一个服务器上启 ...
原创文章,转载请注明地址: http://rabbit9898.iteye.com/blog/1130674   Sensei是LinkedIn的一个分布式搜索系统。安装步骤参考: http://linkedin.jira.com/wiki/display/SENSEI/Getting+Started 或者 http://rabbit9898.iteye.com/blog/997165  。 sensei项目一直在升 ...
Global site tag (gtag.js) - Google Analytics