全文搜索服务器 ：Solr 4.0

http://www.aidansu.com/blog/1361.html

solr是我上周才接触的，一开始的时候很陌生，不知道从哪里开始，我从网上看了很多资料，并加以实践。我一开始就用最新版的solr 4.0，这个版本今年7月份才更新，而且改动幅度比较大，分词器也是刚刚才出了能兼容solr 4.0的版本，所以中文的参考资料很少，我就去看英文文档，把问题一个个地解决，现在已经可以开发出适合企业的版本了。以下是我在学习过程中的总结：

一、安装前的准备：

1、安装JDK 6+

2、安装Tomcat 6+

3、下载好Solr

下载地址：http://labs.mop.com/apache-mirror/lucene/solr/4.0.0/apache-solr-4.0.0.zip

二、Solr简易安装（体验版）

1、把下载下来的Solr加压好

2、打开命令提示符（开始–>运行–>cmd–>回车），cd到apache-solr-4.0.0文件夹下的example文件夹

3、输入命令：java -jar start.jar

4、打开浏览器输入网址：http://localhost:8983/solr/ 就可以浏览到solr的主页了

5、往solr添加数据：打开一个新的命令提示符，cd到apache-solr-4.0.0文件夹下的example文件夹下的 exampledocs文件夹，输入命令：java -jar post.jar -h 执行完毕后再输入：java -jar post.jar *.xml

6、尝试查询数据：打开浏览器输入网址：http://localhost:8983/solr/collection1/browse  在Find：输入窗口输入：ipod 按提交按钮即可搜索到有关ipod的信息。

 

三、Solr 4.0 + mmseg4j 1.9.0 中文分词 （尝试版）

1、下载mmseg4j 1.9.0

下载地http://mmseg4j.googlecode.com/files/mmseg4j-1.9.0.v20120712-SNAPSHOT.zip

2、解压mmseg4j 1.9.0到本地目录把apache-solr-4.0.0\example\webapps目录下solr.war文件复制到tomcat-6\webapps目录下

3、新建一个solr文件夹，把apache-solr-4.0.0\example\solr下的文件复制到新建的solr 文件夹下，在solr文件夹下新建两个文件夹，一个是lib，一个是dic，把mmseg4j 1.9.0文件夹下的mmseg4j-all-1.9.0.v20120712-SNAPSHOT.jar复制到lib文件夹下，把mmseg4j- 1.9.0.v20120712-SNAPSHOT\data文件夹下的dic文件复制到dic文件夹下

4、配置solr.home：打开 我的电脑–>属性–>高级–>环境变量，在系统变量中新建一个变量名：solr.home 变量值：f:/solr（你刚刚新建的solr文件的地址，我是建在F盘的）*主意：一定要按完所有的确定

5、修改 tomcat-6\conf\server.xml，加个 URIEncoding=”UTF-8″，把 8080 的那一块改为：

<Connector port=“8080″ protocol=“HTTP/1.1″connectionTimeout=“20000″
    redirectPort=“8443″ URIEncoding=“UTF-8″/>

 

6、把下面的内容保存到 tomcat-6\conf\Catalina\localhost\solr.xml，没有这个目录自行创建。

<Context docBase=“F:/tomcat-6/webapps/solr.war”  reloadable=“true” >
    <Environment name=“solr/home” type=“java.lang.String”
        value=“F:/solr” override=“true” />
</Context>

 

7、添加中文分词：修改solr文件夹（solr.home指定目录）下的collection1\conf\solrconfig.xml 加上<lib dir=”F:/solr/lib” /> 在collection\conf\schema.xml 在里面相应的标签内加入下面这几段代码：

<field name=“simple” type=“textSimple” indexed=“true” stored=“true”/>
<field name=“complex” type=“textComplex” indexed=“true” stored=“true”/>
<field name=“MaxWord” type=“textMaxWord” indexed=“true” stored=“true”/>

 

<copyField source=“text” dest=“simple” />
<copyField source=“text” dest=“complex” />
<copyField source=“text” dest=“MaxWord” />

 

<fieldType name=“textComplex” class=“solr.TextField” >
    <analyzer>
        <tokenizer  class=“com.chenlb.mmseg4j.solr.MMSegTokenizerFactory”
            mode=“complex” dicPath=“F:/solr/dic”/>
    </analyzer>
</fieldType>

<fieldType name=“textMaxWord” class=“solr.TextField” >
      <analyzer>
      <tokenizer  class=“com.chenlb.mmseg4j.solr.MMSegTokenizerFactory”
       mode=“max-word” dicPath=“F:/solr/dic”/>
  </analyzer>
</fieldType>

<fieldType name=“textSimple” class=“solr.TextField” >
      <analyzer>
      <tokenizer  class=“com.chenlb.mmseg4j.solr.MMSegTokenizerFactory”
       mode=“simple” dicPath=“F:/solr/dic”/>
  </analyzer>
</fieldType>

 

8、启动Tomcat，打开浏览器，输入：http://localhost:8080/solr/#/collection1/analysis FileType选择：MaxWord ，在Field Value (Index)输入中文，然后按Aanlyse Values 就会出行中文分词，如下图效果：

 

四、Solr 4.0 + Eclipse + IK Analyzer 2012 FF + MySQL中文分词 （企业开发版）

1、下载IK Analyzer 2012 FF并加压好

下载地址：http://ik-analyzer.googlecode.com/files/IK%20Analyzer%202012%20FF.zip

2、Solr 4.0 添加到eclipse project上：在eclipse上创建一个Dynamic Web Project项目名为SolrIK，把apache-solr-4.0.0\example\webapps目录下solr.war 文件加压好放在SolrIK项目下的WebRoot目录下（先删除目录下原有的文件），把apache-solr-4.0.0\example\下的 solr文件夹也复制到WebRoot目录下

3、修改SolrIK项目下WebRoot\WEB-INF\web.xml文件：找到

<!– People who want to hardcode their “Solr Home” directly into the WAR File can set the JNDI property here…–>

把下面那段去掉注释，改为：

<env-entry>
   <env-entry-name>solr/home</env-entry-name>
   <env-entry-value>F:/webproject/SolrIK/WebRoot/solr
   </env-entry-value>
   <env-entry-type>java.lang.String</env-entry-type>
</env-entry>

 

（<env-entry-value>这个是你存放solr文件的路径，我的项目是建在F:/webproject）

4、把项目添加到Tomcat里面去：打开eclipse –> Window –> Show View –> Servers ，然后在Servers里面右击 –> new Server –> 选择对应Tomcat 版本next –> 把SolrIK项目add进去 –> finish

双击 Tomcat v6.0 Server（上图蓝色区域），再点击Modules（上图顶部白色区域）如果没见到有上图的项目就在左边Add Web Modules

5、在Ecplise里启动Tomcat ，打开浏览器输入：http://localhost:8080/SolrIK/ 就可以浏览到Solr

6、添加IK Analyzer 2012 FF 中文分词：把IKAnalyzer2012_FF文件夹IKAnalyzer2012_FF.jar放在项目的WEB-INF下的lib目录下，修改 WebRoot\solr\collection1\schema.xml 在<types></types>里面加一条：

<!– IK Analyzer 2012 FF  –>

<fieldType name=“text_zh” class=“solr.TextField”>

<analyzer class=“org.wltea.analyzer.lucene.IKAnalyzer”/>

</fieldType>

 

找到以下代码并把type=“text_general”修改为type=“text_zh“：

<field  name=“text”  type=“text_zh”  indexed=“true” stored=“false”
         multiValued=“true”/>

（修改后）

7、重启Tomcat ，打开浏览器，输入：http://localhost:8080/solr/#/collection1/analysis     FileType选择：text ，在Field Value (Index)输入中文，然后按Aanlyse Values 就会出行中文分词，如下图效果：

 

8、修改索引地址：（可以不修改，如果数据比多的时候就很难维护，建议修改）我在F盘下的tomcat-solr文件夹下建了一个data文件夹， 然后修改WebRoot\solr\collection1\conf\solrconfig.xml 下的<dataDir>${solr.data.dir:F:/tomcat-solr/data}< /dataDir> dir: 为你创建的索引地址路径

9、安装MySQL 数据库，并建立库为solrj，在其下面建立一个名为t_article的数据表，并把数据库驱动放在WebRoot\WEB-INF\lib目录下

10、在WebRoot\solr\collection1\conf下新建一个data-config.xml文件，在里面添加以下代码：（有些地方可能有点不同，如数据库密码）

<?xml version=“1.0″ encoding=“UTF-8″ ?>

<dataConfig>
    <dataSource name=“dstest” type=“JdbcDataSource”
        driver=“com.mysql.jdbc.Driver”
        url=“jdbc:mysql://localhost:3306/solrj?useUnicode=true&amp;
        characterEncoding=UTF-8&amp;autoReconnect=true”
        user=“root” password=“mysql” />
     <document name=“articles”>
        <entity name=“article” dataSource=“ds-test” query=“select * from t_article ”
                deltaQuery=“select id from t_article where  update_time >
                ’${dataimporter.last_index_time}’”>
            <field column=“id” name=“id” />
            <field column=“title” name=“title” />
            <field column=“content” name=“content” />
            <field column=“update_time” name=“updateTime” />
        </entity>
    </document>
</dataConfig>

 

11、solr关联数据库：在WebRoot\solr\collection1\conf\solrconfig.xml 下找到相应的位置添加以下这段配置：

<requestHandler name=“/dataimport” class=“org.apache.solr
    .handler.dataimport.DataImportHandler”>
<lst name=“defaults”>
<str name=“config”>data-config.xml</str>
</lst>
</requestHandler>

 

在WebRoot\solr\collection1\conf\schema.xml 下找到下面的代码，并把
type=“text_general”修改为type=“text_zh“（分词方法）：

<field  name=“title”  type=“text_zh”   indexed=“true”
stored=“true” multiValued=“true”/>

<field  name=“content”  type=“text_zh”  indexed=“false”
stored=“true” multiValued=“true”/>

 

12、导入数据到solr：打开http://localhost:8080/SolrIK/#/collection1/dataimport//dataimportCommand里把Clean、Commit和Optimize打钩，再点击Execute Import（蓝色按钮）

13、打开查询页面，输入q输入框下输入外交部 即可查到两条关于外交部的数据

 

14、创建solr客户端：先导入包，把apache-solr-4.0.0\dist下的apache-solr

-dataimporthandler-4.0.0.jar 和 apache-solr-dataimporthandler-extras-4.0.0.jar复制到

WebRoot\WEB-INF\lib下，在src下创建一个SolrJSearcheDemo类：

package com.aidansu.web.solrj;

import java.net.MalformedURLException;
import java.util.List;
import java.util.Map;
import org.apache.solr.client.solrj.SolrQuery;
import org.apache.solr.client.solrj.SolrServer;
import org.apache.solr.client.solrj.SolrServerException;
import org.apache.solr.client.solrj.impl.HttpSolrServer;
import org.apache.solr.client.solrj.response.QueryResponse;
import org.apache.solr.common.SolrDocument;
import org.apache.solr.common.SolrDocumentList;

/**
 *
 * @className:SolrJSearcheDemo.java
 * @classDescription: Solr客户端-查询
 * @author: AIDAN SU
 * @createTime: 2012-10-23
 *
 */
public class SolrJSearcheDemo {
    /**
     * Solr访问地址
     */
    private static final String SOLR_URL =“http://localhost:8081/SolrIK/”;

    // 通过网络地址获取SolrServer对象
    public SolrServer getSolrServer() throws MalformedURLException {

        return new HttpSolrServer(SOLR_URL);
    }

    // 查询方法
    public void search(String key) throws MalformedURLException{
        SolrServer solrServer = getSolrServer();
        // 查询对象
        SolrQuery query = new SolrQuery(key);

        query.setQuery(key);

        try {

            query.setHighlight(true)
                //设置开头
                .setHighlightSimplePre(“<span class=’highlight’>”)
                .setHighlightSimplePost(“</span>”) //设置结尾
                .setStart(0)
                .setRows(10);//设置行数
            //设置高亮的哪些区域
            query.setParam(“hl.fl”, “content”);
            QueryResponse response=solrServer.query(query);;
            SolrDocumentList list=response.getResults();

            System.out.println(“高亮显示：”);
            for(SolrDocument sd:list){
                String id=(String) sd.getFieldValue(“id”);
                if(response.getHighlighting().get(id)!=null){
                    System.out.println(response.getHighlighting()
                        .get(id).get(“content”));

                }
            }

            System.out.println(“——————————————-”);

            SolrDocumentList docs = response.getResults();

            System.out.println(“文档个数：” + docs.getNumFound());
            System.out.println(“查询时间：” + response.getQTime());
            System.out.println(“——————————————–”);

            for (SolrDocument doc : docs) {

                // 获取查询返回结果
                String id = doc.getFieldValue(“id”).toString();
                String title = doc.getFirstValue(“title”).toString();
                String content = doc.getFirstValue(“content”).toString();

                // 打印查询结果
                System.out.println(“编号：”+id);
                System.out.println(“标题：”+title);
                System.out.println(“内容: ”+content);

                System.out.println(“—————————————-”);

            }


        } catch (SolrServerException e) {
             e.printStackTrace();
        }
    }


    public static void main(String[] args) throws MalformedURLException {

        // 创建一个SolrJSearcheDemo对象
        SolrJSearcheDemo sj = new SolrJSearcheDemo();
        // 查询条件
        String Query =“外交部”;
        // 调用查询方法
        sj.search(Query);
    }

}

 

15、创建solr jsp页面客户端：通过JavaScript和Ajax 完成Json的解析并显示在网页上。

在WebRoot目录下新建一个search.jsp页面，代码如下：

<%@ page language=“java” import=“java.util.*” pageEncoding=“UTF-8″%>
<html>
<head>
<title>json</title>
<script type=“text/javascript”>
function xmlhttpPost(strURL) {
    var xmlHttpReq = false;
    var self = this;
    if (window.XMLHttpRequest) { // Mozilla/Safari
        self.xmlHttpReq = new XMLHttpRequest();
    }
    else if (window.ActiveXObject) { // IE
        self.xmlHttpReq = new ActiveXObject(“Microsoft.XMLHTTP”);
    }

    var params = getstandardargs().concat(getquerystring());
    var strData = params.join(‘&’);

    //var header = document.getElementById(“response”);
    //header.innerHTML = strURL+’?'+strData;

    self.xmlHttpReq.open(‘get’, strURL+’?'+strData
        +’&time=’+new Date().getTime(), true);
    self.xmlHttpReq.setRequestHeader(‘Content-Type’,
        ’application/x-www-form-urlencoded’);
    self.xmlHttpReq.onreadystatechange = function() {
        if (self.xmlHttpReq.readyState == 4) {
            updatepage(self.xmlHttpReq.responseText);
        }
    }
    self.xmlHttpReq.send(null);
}

function getstandardargs() {
    var params = [
        'wt=json'
        , 'indent=on'
        , 'hl=true'
        , 'hl.fl=title,content'
        , 'fl=*,title,content'
        , 'start=0'
        , 'rows=10'
        ];

    return params;
}
function getquerystring() {
  var form = document.forms['f1'];
  var query = form.q.value;
  qstr = ’q=’ + encodeURI(query);    //escape
  return qstr;
}

// this function does all the work of parsing the solr
//response and updating the page.
function updatepage(str){
  //document.getElementById(“response”).innerHTML = str;
  // use eval to parse Solr’s JSON response
  var rsp = eval(“(“+str+“)”);
  parse(rsp);
}

function parse(j) {
    var header = document.getElementById(“header”);
    var rh = j.responseHeader;
    try{
    var hl = j.highlighting;
    }catch(exception){}
    var header_str = “ 搜索: \”"+rh.params.q+“\”, 花了: ”+rh.QTime+“ms, 共显示: ”
    +j.response.numFound+“条记录”;  //+rh.params.rows;
    header.innerHTML = header_str;
    var docs = j.response.docs;
    var tab = document.getElementById(“docs”);
    for(; tab.rows.length >1; ) {
        tab.deleteRow(-1);
    }
    var tr;
    var td;
    var hid;
    for(var i=0; i<docs.length; i++) {

        tr = tab.insertRow(-1);

        td = tr.insertCell(-1);
        td.innerHTML = docs[i].id;
        hid = docs[i].id;

        td = tr.insertCell(-1);
        if(hl != null){
            try{
                if(hl[hid].title != null){
                    td.innerHTML = hl[hid].title;

                }else{
                    td.innerHTML = docs[i].title;
                }
            }catch(exception){
            }
        }else{
            td.innerHTML = docs[i].title;
        }

        td = tr.insertCell(-1);
        if(hl != null){
            try{
                if(hl[hid].content != null){
                    td.innerHTML = hl[hid].content;

                }else{
                    td.innerHTML = docs[i].content;
                }
            }catch(exception){
            }
        }else{
            td.innerHTML = docs[i].content;
        }
    }


   }
</script>
</head>
<body>
<form action=“select/” name=“f1″ method=“get”
    onsubmit=“xmlhttpPost(‘/SolrIK/select’); return false;” >
      Find:
      <input type=“text” name=“q” size=“80″ >
      <input name=“start” type=“hidden” value=“0″>
      <input name=“rows” type=“hidden” value=“10″>
      <input name=“indent” type=“hidden” value=“on”>
      <input name=“wt” type=“hidden” value=“”>
      <input name=“hl” type=“hidden” value=“true”>
      <input name=“hl.fl” type=“hidden” value=“title,content”>
      <input name=“fl” type=“hidden” value=“*,title,content”>
      <input type=“button” value=“ 搜 索 ”
                 onclick=“xmlhttpPost(‘/SolrIK/select’);”>
      <input type=“button” value=“ get json ”
      onclick=“document.forms['f1'].wt
       .value=’json’;document.forms['f1'].submit();”>
      <input type=“button” value=“ get xml ”
      onclick=“document.forms['f1'].wt
      .value=”;document.forms['f1'].submit();”>
  </form>
    <div id=“header”></div>
    <div id=“response”></div>
  <div style=“background-color: #000000; height: 1px; margin-top:10px; margin-bottom:10px;”>
  </div>

    <table id=“docs” class=“tab” cellspacing=“1″>
        <tr>
            <td width=“50″>编号</td>
            <td width=“400″>标题</td>
            <td >内容</td>
        </tr>
    </table>
</body>
</html>

效果如下：

下面的开发就不写了，对于企业搜索的开发上面这些功能可能还不够用，那就多研究一下！教程如有写得不好的地方请见谅！