rabbit9898
- 浏览: 150273 次
- 性别:
- 来自: 北京
-
最新评论
-
bluky999：
@Mark
怎样量化评价搜索引擎的结果质量 -
baso4233：
非常感谢，我跑通了。途中出现了，java.lang.Unsup ...
norbert 高并发分布式服务例子 examples （二） -
yangsong158：
rabbit9898 写道xiansuanla 写道我运行 m ...
JMX 入门例子 -
rabbit9898：
xiansuanla 写道我运行 main方法以后 cmd 里 ...
JMX 入门例子 -
xiansuanla：
我运行 main方法以后 cmd 里面运行 jconsole ...
JMX 入门例子
文章列表
iteye编辑器在IE8下太不好用了，写了保存到草稿里结果再编辑格式就都没了，晕
接上面的 http://rabbit9898.iteye.com/blog/1508968
，继续
5. 写服务器端代码
servernode1.java
package norbert.exam.server;
import norbert.exam.util.ServerUtil;
import com.linkedin.norbert.javacompat.cluster.ClusterClient;
public class ServerNode1 {
publ ...
Norbert简介 norbert是一个提供分布式集群服务的开发框架，具备集群管理功能，是一个开发简单的通信架构，易扩展能承受高吞吐量的框架。 norbert 应该是用scala来实现，对Netty, Protocol Buffers and Zookeeper的一个封装。 其 ...
sensei分布式实时搜索系统源码解析(三) 分布式index
前两回写完之后，这篇关于sensei如何建立索引的部分，至今日才补上，有些惭愧。一方面，初期没有细看index这块，另外，其他事情导致精力有所分散。话转正题。
一、提供流数据的GateWay sensei 处理建立索引的过程，可以有多种方式，总体而言，提供了一个SenseiGateWay的抽象类，
目前由如上4种实现类，并且通过注册至SenseiGatewayRegistry，来提供静态的获取getDataProviderBuilder的方法。
根据官方的文档，下图中的4种 ...
用norbert来写高并发分布式服务框架
本来计划将sensei的相关源码系列搞完，但最近一段时间由于工作需求先调研了几种分布式的服务框架，做了简要的对比测试。根据我们自己的实际需要选取了norbert来做我们后台提供分布式服务的框架。因此，先整理一篇关于norbert框架的博文，也给自己留下个印记，以便以后来查阅。Norbert简介 “Norbert is a library that provides easy cluster management and workload distribution. With Norbert, you can quickly distribu ...
上周的时候Dmitry突然在5.4发布在即的时候, 引入了一个新的配置项:
Added max_input_vars directive to prevent attacks based on hash collision
这个预防的攻击, 就是”通过调用Hash冲突实现各种语言的拒绝服务攻击漏洞”(multiple implementations denial-of-service via hash algorithm collision).
攻击的原理很简单, 目前很多语言, 使用hash来存储k-v数据, 包括常用的来自用户的POST数据, 攻击者可以通过构造请求头, 并伴随P ...
LinkedIn 收购了IndexTank，在收购的时候承诺开源IndexTank的技术，现在兑现了这个承诺，IndexTank引擎以Apache 2.0协议发布！IndexTank包含两部分：
indextank-engine: Indexing engineindextank-service: API, BackOffice, Storefront, and Nebulizer
1. ...
基于sensei+lucene的分布式搜索终于上线了
架构采用：
http://rabbit9898.iteye.com/blog/1130674
历时多时，终于今天上线了。
mongodb常用命令
- 博客分类：
- mongodb
mongodb由C＋＋写就，其名字来自humongous这个单词的中间部分，从名字可见其野心所在就是海量数据的处理。关于它的一个最简洁描述为：scalable, high-performance, open source, schema-free, document-oriented database。MongoDB的主要目标是在键/值存 ...
JMX入门请参看：
http://rabbit9898.iteye.com/blog/1009198
做一个服务程序，采用JMX管理，启动参数如下：
JAVA_ARGS=" -server -Xms512m -Xmx1024m -XX:NewSize=64m -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=78 -XX:ThreadStackSize=128 "
#jmx para
JAVA_ARGS="${JAVA_ARGS} -Dcom.sun.management.jmxre ...
显示java进程内存使用的相关信息
jmap pid #打印内存使用的摘要信息
jmap –heap pid #java heap信息
jmap -histo:live pid #统计对象count ，live表示在使用
jmap -histo pid >mem.txt #打印比较简单的各个有多少个对象占了多少内存的信息，一般重定向的文件
jmap -dump:format=b,file=mem.dat pid #将内存使用的详细情况输出到mem.dat 文件
用jhat命令可以参看 jhat -port 7000 mem.da ...
Zoie发布3.0.0了
- 博客分类：
- zoie
zoie在8.1号 发布3.0.0了 见
https://github.com/javasoze/zoie/blob/master/zoie-core/pom.xml
把依赖的lucene升级了
<dependency>
<groupId>org.apache.lucene</groupId>
<artifactId>lucene-core</artifactId>
<version>3.0.2</version>
</dependency> ...
1. 约定：
a. ZooKeeper Server，[server1]的ip为192.168.1.201，[server2]的ip为192.168.1.202，[server3]的ip为192.168.1.203。
b. [zk_dir]表示ZooKeeper的根目录，假设为/home/user/zookeeper
c. [zk_data]表示ZooKeeper数据文件存放地址，假设为/home/user/zk_data
d. [zk_trlog]表示ZooKeeper的Transaction Log目录，假设为/home/user/zk_trlog
e. [zk_l ...
看来自己很懒，发现前同事的sensei 研究了
转载： http://johnnychenjun.blog.163.com/blog/static/1374934062011621111441102/
接上节的SenseiServer相关的概念，想必对sensei里面从Server启动到各种server/client的概念有所了解了。本次间隔了一周多来记录一下sensei做分布式search的过程，一周来每次重新跟进去看这些代码每次都有一些新发现和新体会，希望与大家分享，也期望更多的开发者能够了解并加入到分布式实时搜索的讨论中来。 言归正传sensei分布式搜索流程 1. ...
看来自己很懒，发现前同事的sensei 研究了
转载：http://johnnychenjun.blog.163.com/blog/static/137493406201161163651879/
一、源码结构
首先，先从github将 sensei源码 取下。从整体代码结构上来看主要分为如下几类：
1. 提供多种index的提供数据的方式，主要在dataprovider下的几个包，及gateway下的几个包。
2. 提供client端调用的查询服务client及servlet，servlet下为提供包装搜索查询的servlet服务。
3. nodes下包含了在一个服务器上启 ...
原创文章，转载请注明地址： http://rabbit9898.iteye.com/blog/1130674
Sensei是LinkedIn的一个分布式搜索系统。安装步骤参考：
http://linkedin.jira.com/wiki/display/SENSEI/Getting+Started
或者 http://rabbit9898.iteye.com/blog/997165 。
sensei项目一直在升 ...