OK,直接开门见山，不绕弯子啦！基于上篇博客，我们知道了在Solr中配置分词器有两种方式，一种是直接配置分词器类，比如：
<fieldType name="text_ik" class="solr.TextField">
<analyzer class="org.wltea.analyzer.lucene.IKAnalyzer" />
</fieldType>
一种是配置TokenizerFactory类，由于Solr API中并没有内置类似IK，Ansj这样的中文分词器的TokenizerFactory类，所以我们需要自己扩展，不过你们不用担心，我已经扩展好了。配置样例如下：
<fieldType name="text_ik" class="solr.TextField">
<analyzer type="index">
<tokenizer class="org.apache.lucene.analysis.ik.IKTokenizerFactory" useSmart="true"/>
</analyzer>
<analyzer type="query">
<tokenizer class="org.apache.lucene.analysis.ik.IKTokenizerFactory" useSmart="false"/>
</analyzer>
</fieldType>
我扩展的AnsjTokenizerFactory源码如下：
public class AnsjTokenizerFactory extends TokenizerFactory {
/**是否查询分词*/
private boolean query;
/**是否分析词干.进行单复数,时态的转换(只针对英文单词)*/
private boolean pstemming;
/**自定义停用词词典文件路径*/
private String stopwordsDir;
public AnsjTokenizerFactory(Map<String, String> args) {
super(args);
query = getBoolean(args, "query", false);
pstemming = getBoolean(args, "pstemming", false);
stopwordsDir = get(args, "stopwordsDir", "");
}
@Override
public Tokenizer create(AttributeFactory factory) {
if(query) {
return new AnsjTokenizer(factory,new ToAnalysis(new Forest[0]),stopwordsDir,pstemming);
}
return new AnsjTokenizer(factory,new IndexAnalysis(new Forest[0]),stopwordsDir,pstemming);
}
}
下面介绍如何在Solr中使用Ansj分词器，首先你需要在Solr_home的core\lib目录下添加依赖的jar：
ansj_seg-2.0.8.jar(戳我试试(*^__^*) 嘻嘻)
solr-analyzer-ansj-5.1.0.jar(这个jar包体积较小，请在底下的附件里下载)
nlp-lang-0.2.jar(这是ansj-seg-2.0.8.jar依赖的jar包)
如图：
然后在schema.xml中添加如下配置：
至于query，pstemming，stopwordsDir这3个配置参数的含义，请看我在源码中作的注释，如图：
query参数：分词的两个阶段：建立索引阶段和查询阶段，即表示是否为查询阶段分词，针对不同的分词阶段采用的分词策略是不一样的。具体看源码，如图：
pstemming：表示是否对英文单词进行单复数转换以及时态转换，比如apples还原成apple，loved还原成love,broken还原成break，注意pstemming参数仅仅是针对英文，因为只有英文才有单复数和时态形式。
stopwordsDir参数就很好理解了，就是你的自定义停用词词典的存放路径，
上面3个参数是可选的，不是必须配置的。
TokenizerFactory配置好了，然后你就在你的Field中应用此分词器了，如图：
然后你需要把ansj的library.properties配置文件copy到E:\apache-tomcat-7.0.55\webapps\solr\WEB-INF\classes路径，如图：
library.properties配置如下：
#redress dic file path ambiguityLibrary=E:/apache-tomcat-7.0.55/webapps/solr/WEB-INF/classes/library/ambiguity.dic #path of userLibrary this is default library userLibrary=E:/apache-tomcat-7.0.55/webapps/solr/WEB-INF/classes/library #set real name isRealName=true
比较恶心的是，anasj分词器的字典文件加载路径这里只能写死成绝对路径，因为它源码里加载字典文件是直接通过new File(dicPath)这种方式来实现的。当你在eclipse中运行，你的dicPath相对路径是你的项目根目录，而如果你的项目部署到tomcat，那dicPath的相对路径就是tomcat根目录下的bin，这确实比较啃爹，所以我这里干脆直接写成绝对路径，当然你可以把字典文件放到任意目录下，比如C:\Library,不是非要放到tomcat下，这个我必须要澄清下。下图是Ansj分词器在加载字典文件时比较恶心的实现方式：
如果改成这样方式加载字典文件会比较好点，我个人觉得：
this.getClass().getClassLoader().getResourceAsStream(dicPath);
这样你的字典文件路径dicPath的相对路径才是当前classPath。不过ansj里你把字典文件配置成绝对路径也可以，不一定非要相对路径，这点仁者见仁智者见智吧！骚年，你怎么看？
接着你需要在E:\apache-tomcat-7.0.55\webapps\solr\WEB-INF\classes目录下新建一个library目录，然后把ansj自带的两个字典文件ambiguity.dic和default.dic复制进去，然后新建一个ext.dic文件。相关的字典文件和配置文件我待会儿会上传到附件里供你们参考。其中ext.dic是用户自定义扩展字典文件，如图：
对于类似这种网络新词，ansj分词器默认是分不出来的，这时就需要定义自定义扩展字典。
你应该已经发现了，我们在配置AnsjTokenizerFactory的时候配置了stopwordsDir="stopwords/stopwords.dic"自定义停用词加载路径，这里的stopwordsDir是相对于当前classpath的即E:\apache-tomcat-7.0.55\webapps\solr\WEB-INF\classes，所以我们需要在E:\apache-tomcat-7.0.55\webapps\solr\WEB-INF\classes下新建stopwords文件夹，然后在stopwords文件夹下新建一个stopwords.dic字典文件，stopwords.dic内容如下：
这里我只加两个词语作为演示，你们可以根据你自己的需求随意添加你自己的停用词。需要解释下的是，之所以stopwordsDir参数是相对于当前classpath，是因为我在实现AnsjTokenizerFactory时是采用这样的方式来加载词典文件的，如图：
这一切准备好了，你就开始进行分词测试了，请如图进行测试：
上图是对自定义新词进行分词测试，么么哒和啪啪啪之所以能被分出来，是因为我们在library\ext.dic自定义词典文件中添加了那两个词语。
上图是用来测试pstemming参数即英文单词的单复数转换以及时态转换，loved是过去式，自动被转换成原型love
上图是用来测试自定义停用词的，如果你看到如图效果，说明你配置成功了！
至于anseg分词器我维护的最新源码我有空会上传到我的github上，请关注我的github
益达的GitHub地址：请猛戳我，用力，吃点劲儿！！！
益达Q-Q: 7-3-6-0-3-1-3-0-5
益达的Q-Q群： 1-0-5-0-9-8-8-0-6
相关推荐
本篇将围绕“跟益达学Solr5之使用IK分词器”这一主题，详细讲解如何在Solr5中集成并运用IK分词器，以及它的工作原理和优化技巧。 首先，让我们了解下什么是分词器。在中文搜索引擎中，由于中文句子没有明显的分隔符...
《跟益达学Solr5之从MySQL数据库导入数据并索引》这篇文章主要探讨了如何使用Apache Solr 5从MySQL数据库中导入数据并建立索引，以便进行高效的全文搜索。Solr是一款强大的开源搜索服务器，它提供了丰富的查询语言、...
本篇文章将带你深入学习如何在Solr5中集成并使用MMSeg4J分词器，提升中文处理能力。 首先，我们来了解一下MMSeg4J。这是一个高效、灵活的Java实现的中文分词库，它采用了基于词频的动态最大匹配算法（MaxMatch），...
2. **处理拼音**: 在索引文档时，Solr会使用配置的拼音分词器对中文文本进行分析，生成对应的拼音表示。例如，对于“北京”这个词汇，索引时会产生“bei”、“jing”等拼音形式。 3. **查询匹配**: 当用户输入拼音...
在本篇博文中，“跟益达学Solr5之使用Tika从PDF中提取数据导入索引”，我们将探讨如何利用Apache Solr 5和Tika这两个强大的开源工具，从PDF文档中抽取数据并将其有效地导入到Solr索引库中。Apache Solr是一款功能...
本教程将基于"跟益达学Solr5之索引文件夹下所有文件"的主题，深入探讨如何在Solr5中对文件夹内的所有文件进行索引。 首先，理解索引的概念至关重要。在信息检索领域，索引是一种数据结构，用于快速查找文档中的特定...
《Solr5索引网络上远程文件详解》 在信息技术领域，搜索引擎的高效与便捷是不可或缺的，Apache Solr作为一款强大的开源搜索平台，被广泛应用于各种数据检索场景。本篇我们将深入探讨如何利用Solr5来索引网络上的...
总结，学习“跟益达学Solr5之增量索引MySQL数据库表数据”，你将掌握如何设置Solr与MySQL的集成，使用DIH进行增量索引，以及优化索引性能。这不仅有助于提升搜索效率，也是企业级应用中数据检索不可或缺的技能。
《跟益达学Solr5之玩转post.jar》这篇博文主要探讨了如何利用Solr的`post.jar`工具进行数据导入，这是Solr提供的一个非常实用的功能，用于快速将各种格式的数据导入到Solr索引中。在这个过程中，我们不仅会了解`post...
"content": "这篇教程将教你如何使用Solr5批量索引JSON数据..." } ``` 3. 使用Post工具：Solr提供了一个名为`post.jar`的工具，可以方便地将JSON数据导入到索引中。在命令行中执行： ```bash java -Dc=...
国内较早接触Solr的技术专家之一，长期致力于Solr的技术研究、实践和生产环境部署，是Solr社区的积极参与者和实践者，以让Solr技术能够在中国得到广泛应用不遗余力并乐此不疲。现就职于国美金融，曾就职于各种大大...
5. **广告策略**：虽然具体内容未详述，但可以推测文档中可能会讨论针对男士益达产品的广告创意、目标受众定位、媒介选择、广告执行计划等方面，这些都是成功推广新产品的关键步骤。 6. **市场潜力与机会**：男性...
实益达：首次公开发行股票招股说明书.PDF
在当今的快节奏市场环境中，益达口香糖凭借其巧妙的整合营销策略，成功地在竞争激烈的口香糖市场中脱颖而出。整合营销传播（IMC）是指企业在营销活动中采取一致的沟通策略，以确保所有信息的统一性，从而达到最佳的...