searchServer IBM OminiFind / WebSphere Commerce SOLR

百度搜索研发部

http://stblog.baidu-tech.com/

 

IBM Ominifind Discovery Edition / IBM OminiFind Enterprise Edition / IBM WebSphere Commerce 7 SOLR

 

http://publib.boulder.ibm.com/infocenter/ode/v8r4m1/index.jsp

data limit 6000000~10000000  >>> ODE Server

 

Apache SOLR

http://wiki.apache.org/solr

http://lucene.apache.org/solr/

http://lucene.apache.org/solr/tutorial.html

 

使用 Apache Lucene 和 Solr 进行位置感知搜索

http://www.ibm.com/developerworks/cn/java/j-spatial/index.html

 

Solr+Tomcat在Windows下的搭建

http://www.iteye.com/topic/334507

   最近在学习收索引擎，找了一些资料，学着在Windows下搭建Solr+Tomcat，可是网上的资料要么太老，要么就是英文版的，看着很费劲。
   先来说说Solr，Solr 最初由 CNET Networks 开发，2006 年初，Apache Software Foundation 在 Lucene 顶级项目的支持下得到了 Solr。Solr 于 2007 年 1 月酝酿成熟，在整个项目孵化期间，Solr 稳步地积累各种特性并吸引了一个稳定的用户群体、贡献者和提交人。Solr 现在是 Lucene（Apache 的基于 Java 的全文本搜索引擎库）的一个子项目。
   下面是我的搭建过程，在我机子上能跑能跳的~~呵呵
开始，先要安装JDK1.5后以上的版本，然后当然得安装Tomcat，我用的Tomcat版本是apache-tomcat-6.0.18的，再去Sole的官网上把Solr下下来，Solr官网：http://lucene.apache.org/solr/，我下的是apache-solr-1.3.0.zip，把它解压为apache-solr-1.3.0。把apache-solr-1.3.0文件夹下的dist\apache-solr-1.3.0.war放到Tomcat下的webapps目录下并把它改名为solr.war（名字短点方便）。把Eapache-solr-1.3.0文件夹下的solr\example目录中的solr文件夹复制到Ttomcat目录下。在Ttomcat目录work\Catalina\localhost目录下创建一个solr.xml文件，内容如下：
<?xml version="1.0" encoding="UTF-8"?>
<Context docBase="" debug="0" crossContext="true" >
   <Environment name="solr/home" type="java.lang.String" value="D:\apache-tomcat-6.0.18\solr" override="true" />
</Context>
最后启动Tomcat。可以打开http://localhost:8080/solr/admin；就会出现成功界面了。

 

solr-1.4.1安装笔记

http://www.iteye.com/topic/718602

 

Solr+lucene+庖丁分词的一个问题

http://www.iteye.com/topic/231150

我在用Solr+lucene做英文检索时一切正常，但加入庖丁后发现会出现问题
严重: org.apache.lucene.store.LockObtainFailedException: Lock obtain timed out: SimpleFSLock@D:\solr-tomcat\data\index\write.lock
对于这个异常主要时因为lucene在写入索引时, 用在索引目录下建write.lock文件来标识锁定.而只有在执行close()方法后,才会删除这个锁文件.只要这个文件存在,其他的写索引的程序都会报错. 到这里我就很费解，只是加入了庖丁分词之后才出现这个问题，

 

Compass

http://compass-project.org/

http://www.oschina.net/p/compass

Compass是一个强大的,事务的,高性能的对象/搜索引擎映射(OSEM:object/search engine mapping)与一个Java持久层框架.Compass包括:  

* 搜索引擎抽象层(使用Lucene搜索引荐),
 * OSEM (Object/Search Engine Mapping) 支持,
 * 事务管理,
 * 类似于Google的简单关键字查询语言, 
 * 可扩展与模块化的框架,
 * 简单的API.

类似项目有 Hibernate Search

 

 

 

 HelpHttpClient.java

这里 public final static int MAX_TOTAL_CONNECTIONS = 1500; //默认20 现改为1500

Loadrunner模拟用户并发事务数 TPS 由此上升

 

 

package com.s*****.recommend.portal.ui.util;

import java.io.IOException;

import org.apache.http.HttpResponse;
import org.apache.http.HttpStatus;
import org.apache.http.HttpVersion;
import org.apache.http.client.ClientProtocolException;
import org.apache.http.client.HttpClient;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.conn.ClientConnectionManager;
import org.apache.http.conn.params.ConnManagerParams;
import org.apache.http.conn.params.ConnPerRouteBean;
import org.apache.http.conn.scheme.PlainSocketFactory;
import org.apache.http.conn.scheme.Scheme;
import org.apache.http.conn.scheme.SchemeRegistry;
import org.apache.http.conn.ssl.SSLSocketFactory;
import org.apache.http.impl.client.DefaultHttpClient;
import org.apache.http.impl.conn.tsccm.ThreadSafeClientConnManager;
import org.apache.http.params.BasicHttpParams;
import org.apache.http.params.HttpConnectionParams;
import org.apache.http.params.HttpParams;
import org.apache.http.params.HttpProtocolParams;
import org.apache.http.protocol.HTTP;
import org.apache.http.util.EntityUtils;
import org.apache.log4j.Logger;

/**
 *
 *
 * 功能描述： http 请求连接
 * @version 1.0.0
 */
public class HelpHttpClient
{
    private static Logger logger = Logger.getLogger(HttpClientUtil.class);

    private static final String CHARSET = HTTP.UTF_8;
    private static HttpClient client;

    /**
     * 最大连接数
     */
    public final static int MAX_TOTAL_CONNECTIONS = 1500;  //默认20 现改为1500 ，Loadrunner用户并发TPS 由此上升
    /**
     * 获取连接的最大等待时间
     */
    public final static int WAIT_TIMEOUT = 60000;
    /**
     * 每个路由最大连接数
     */
    public final static int MAX_ROUTE_CONNECTIONS = 1000;
    /**
     * 连接超时时间
     */
    public final static int CONNECT_TIMEOUT = 3000;
    /**
     * 读取超时时间
     */
    public final static int READ_TIMEOUT = 10000;



    /**
     * 私有构造方法
     */
    private HelpHttpClient()
    {
    }

    /**
     *
     * 功能描述：发送http 请求获取字符串
     * 输入参数：<按照参数定义顺序>
     * @param 参数说明
     * url 请求url
     * charset 转化字符串编码
     * 返回值:  String
     * @return  json 字符串
     * @see 需要参见的其它内容
     */
    public static String getJson(String url, String charset)
    {
        // 获取 url 连接
        HttpClient client = getHttpClient();
        HttpGet getMethod = new HttpGet(url);
        String jsonStr = "";
        try
        {
            // 执行请求
            HttpResponse response = client.execute(getMethod);
            // 响应结果，如果是200,则响应成功
            if (HttpStatus.SC_OK == response.getStatusLine().getStatusCode())
            {
                // 将响应流转化为字符串
                jsonStr = EntityUtils.toString(response.getEntity(), charset);
            }

        } catch (ClientProtocolException e)
        {
            logger.debug("httpclient create failure.", e);
        } catch (IOException e)
        {
            logger.debug("httpclient create failure.", e);
        }

        return jsonStr;
    }


    /**
     *
     * 功能描述：多线程 http 请求
     * 返回值:  类型 <说明>
     * @return 返回值 HttpClient
     * @see 需要参见的其它内容
     */
    @SuppressWarnings("deprecation")
    public static synchronized HttpClient getHttpClient()
    {
        if (null == client)
        {
            HttpParams httpParams = new BasicHttpParams();

            // 设置基本参数
            HttpProtocolParams.setVersion(httpParams, HttpVersion.HTTP_1_1);
            HttpProtocolParams.setContentCharset(httpParams, CHARSET);
            HttpProtocolParams.setUseExpectContinue(httpParams, true);

            // 设置最大连接数
            ConnManagerParams.setMaxTotalConnections(httpParams, MAX_TOTAL_CONNECTIONS);
            // 设置获取连接的最大等待时间
            ConnManagerParams.setTimeout(httpParams, WAIT_TIMEOUT);
            // 设置每个路由最大连接数
            ConnPerRouteBean connPerRoute = new ConnPerRouteBean(MAX_ROUTE_CONNECTIONS);
            ConnManagerParams.setMaxConnectionsPerRoute(httpParams,connPerRoute);
            // 设置连接超时时间
            HttpConnectionParams.setConnectionTimeout(httpParams, CONNECT_TIMEOUT);
            // 设置读取超时时间
            HttpConnectionParams.setSoTimeout(httpParams, READ_TIMEOUT);

            SchemeRegistry regist = new SchemeRegistry();
            // 设置 http 请求支持http 和 https 两种模式
            regist.register(new Scheme("http", 80,PlainSocketFactory.getSocketFactory()));
            regist.register(new Scheme("https", 443, SSLSocketFactory.getSocketFactory()));

            // 使用线程安全的链接管理创建 HttpClient
            ClientConnectionManager connManager = new ThreadSafeClientConnManager(httpParams, regist);

            client = new DefaultHttpClient(connManager);

        }

        return client;
    }
}

 

 

 end