elasticsearch中文分词集成

elasticsearch官方只提供smartcn这个中文分词插件，效果不是很好，好在国内有medcl大神（国内最早研究es的人之一）写的两个中文分词插件，一个是ik的，一个是mmseg的，下面分别介绍下两者的用法，其实都差不多的，先安装插件，命令行：
安装ik插件：

plugin -install medcl/elasticsearch-analysis-ik/1.1.0 

下载ik相关配置词典文件到config目录

cd config 
wget http://github.com/downloads/medcl/elasticsearch-analysis-ik/ik.zip --no-check-certificate 
unzip ik.zip 
rm ik.zip 
安装mmseg插件：

bin/plugin -install medcl/elasticsearch-analysis-mmseg/1.1.0 
下载相关配置词典文件到config目录

cd config 
wget http://github.com/downloads/medcl/elasticsearch-analysis-mmseg/mmseg.zip --no-check-certificate 
unzip mmseg.zip 
rm mmseg.zip 
分词配置

ik分词配置，在elasticsearch.yml文件中加上

index:  
  analysis:                     
    analyzer:        
      ik:  
          alias: [ik_analyzer]  
          type: org.elasticsearch.index.analysis.IkAnalyzerProvider  

或

index.analysis.analyzer.ik.type:"ik"  

这两句的意义相同

mmseg分词配置，也是在在elasticsearch.yml文件中

index:  
  analysis:  
    analyzer:  
      mmseg:  
          alias: [news_analyzer, mmseg_analyzer]  
          type: org.elasticsearch.index.analysis.MMsegAnalyzerProvider  

或

index.analysis.analyzer.default.type : "mmseg"  

mmseg分词还有些更加个性化的参数设置如下

index:  
  analysis:  
    tokenizer:  
      mmseg_maxword:  
          type: mmseg  
          seg_type: "max_word"  
      mmseg_complex:  
          type: mmseg  
          seg_type: "complex"  
      mmseg_simple:  
          type: mmseg  
          seg_type: "simple"  

这样配置完后插件安装完成，启动es就会加载插件。

定义mapping

在添加索引的mapping时就可以这样定义分词器

{  
   "page":{  
      "properties":{  
         "title":{  
            "type":"string",  
            "indexAnalyzer":"ik",  
            "searchAnalyzer":"ik"  
         },  
         "content":{  
            "type":"string",  
            "indexAnalyzer":"ik",  
            "searchAnalyzer":"ik"  
         }  
      }  
   }  
}  

indexAnalyzer为索引时使用的分词器，searchAnalyzer为搜索时使用的分词器。

java mapping代码如下：

XContentBuilder content = XContentFactory.jsonBuilder().startObject()  
        .startObject("page")  
          .startObject("properties")         
            .startObject("title")  
              .field("type", "string")             
              .field("indexAnalyzer", "ik")  
              .field("searchAnalyzer", "ik")  
            .endObject()   
            .startObject("code")  
              .field("type", "string")           
              .field("indexAnalyzer", "ik")  
              .field("searchAnalyzer", "ik")  
            .endObject()       
          .endObject()  
         .endObject()  
       .endObject()  

定义完后操作索引就会以指定的分词器来进行分词。

附：
ik分词插件项目地址：https://github.com/medcl/elasticsearch-analysis-ik
mmseg分词插件项目地址：https://github.com/medcl/elasticsearch-analysis-mmseg
如果觉得配置麻烦，也可以下载个配置好的es版本，地址如下：https://github.com/medcl/elasticsearch-rtf

另：
http://www.searchtech.pro/articles/2013/02/18/1361190717673.html