- 浏览: 1013231 次
- 性别:
- 来自: 福州
最新评论
-
guanxin2012:
大神,您好。非常感谢您贡献了IKExpression。我们现在 ...
分享开源表达式解析器IK-Expression2.0 -
qqgigas:
LZ,public boolean createUser(LD ...
Sun Directory Server/LDAP学习笔记(二)——API说明及代码样例 -
gao_shengxian:
Hibernate: update T_GX_TEST set ...
优雅Java编程 之 使用Hibernate存储Oracle Spatial对象 -
a78113534:
感谢大神,在安卓里面调用成功了。
发布IK Expression开源表达式解析器 V2.1.0 -
majiedota:
加油
来自开源支持者的第一笔捐赠
最新3.2.5版本已经推出,http://linliangyi2007.iteye.com/blog/758451
前言
由于Lucene3.0 API的全面升级,且不再与Lucene2.X兼容, IK Analyzer为此推出了3.2.0版本。该版本仅支持Lucene2.9 / 3.0和solr1.4的接口实现。
PS:使用Solr1.3和lucene2.9之前版本的用户请下载IK Analyzer3.1.6GA使用,谢谢!
IK Analyzer 3.2.0版本修订
IK分词器对Lucene及solr的版本支持明细表
下载地址
IKAnalyzer3.2.0稳定版发布包
IKAnalyzer3.2.0稳定版使用手册
整个系统就调用这一个方法,需要用到中文分词, 不太熟悉,整个系统就无法释放内存,系统内存监视都切图了.希望楼主以及各位指点
IK的词典是单例模型,在启动时载入,且不会释放内存。里面有27w的词条,是分词需要的。这个肯定是不会释放的,释放就遭了,呵呵
感谢lz这么热心肠. 呵呵. 我是应用在简单的网站里面的, 一个tomcat 这样的程序运行了这样这样七个程序了, 所以内存由原来的最高70M 一下涨到了 400M 现在明白这个道理了,
看来我我的中文分词只能做个单独的切割词语接口 提供给其他 web站点使用了,要不 web站点太多内存吃不消.
刚编译了下源码, 确实没有再好办法了,已经很好了.
400M这个夸张了,整个词典之占用27M的内存空间啊,400M估计就是你使用lucene搜索处理不当的缘故了
应该没错了. tomcat下面七个站点 七个站点 都调用你了中文分词,一个27 七个也得二三百M吧 ,再加上源程序的六七十M内存 跟空闲内存 应该不夸张了
是这样啊,那我还是建议你分服务器了,呵呵,很少这么搭服务的。
整个系统就调用这一个方法,需要用到中文分词, 不太熟悉,整个系统就无法释放内存,系统内存监视都切图了.希望楼主以及各位指点
IK的词典是单例模型,在启动时载入,且不会释放内存。里面有27w的词条,是分词需要的。这个肯定是不会释放的,释放就遭了,呵呵
感谢lz这么热心肠. 呵呵. 我是应用在简单的网站里面的, 一个tomcat 这样的程序运行了这样这样七个程序了, 所以内存由原来的最高70M 一下涨到了 400M 现在明白这个道理了,
看来我我的中文分词只能做个单独的切割词语接口 提供给其他 web站点使用了,要不 web站点太多内存吃不消.
刚编译了下源码, 确实没有再好办法了,已经很好了.
400M这个夸张了,整个词典之占用27M的内存空间啊,400M估计就是你使用lucene搜索处理不当的缘故了
应该没错了. tomcat下面七个站点 七个站点 都调用你了中文分词,一个27 七个也得二三百M吧 ,再加上源程序的六七十M内存 跟空闲内存 应该不夸张了
整个系统就调用这一个方法,需要用到中文分词, 不太熟悉,整个系统就无法释放内存,系统内存监视都切图了.希望楼主以及各位指点
IK的词典是单例模型,在启动时载入,且不会释放内存。里面有27w的词条,是分词需要的。这个肯定是不会释放的,释放就遭了,呵呵
感谢lz这么热心肠. 呵呵. 我是应用在简单的网站里面的, 一个tomcat 这样的程序运行了这样这样七个程序了, 所以内存由原来的最高70M 一下涨到了 400M 现在明白这个道理了,
看来我我的中文分词只能做个单独的切割词语接口 提供给其他 web站点使用了,要不 web站点太多内存吃不消.
刚编译了下源码, 确实没有再好办法了,已经很好了.
400M这个夸张了,整个词典之占用27M的内存空间啊,400M估计就是你使用lucene搜索处理不当的缘故了
整个系统就调用这一个方法,需要用到中文分词, 不太熟悉,整个系统就无法释放内存,系统内存监视都切图了.希望楼主以及各位指点
IK的词典是单例模型,在启动时载入,且不会释放内存。里面有27w的词条,是分词需要的。这个肯定是不会释放的,释放就遭了,呵呵
感谢lz这么热心肠. 呵呵. 我是应用在简单的网站里面的, 一个tomcat 这样的程序运行了这样这样七个程序了, 所以内存由原来的最高70M 一下涨到了 400M 现在明白这个道理了,
看来我我的中文分词只能做个单独的切割词语接口 提供给其他 web站点使用了,要不 web站点太多内存吃不消.
刚编译了下源码, 确实没有再好办法了,已经很好了.
整个系统就调用这一个方法,需要用到中文分词, 不太熟悉,整个系统就无法释放内存,系统内存监视都切图了.希望楼主以及各位指点
IK的词典是单例模型,在启动时载入,且不会释放内存。里面有27w的词条,是分词需要的。这个肯定是不会释放的,释放就遭了,呵呵
整个系统就调用这一个方法,需要用到中文分词, 不太熟悉,整个系统就无法释放内存,系统内存监视都切图了.希望楼主以及各位指点
如果你是3.0.0 - 3.1.6GA的替换,你不需要做任何修改。
从3.1.X替换到3.2.0的,如果你使用的是Lucene2.9,那么也不需要修改。
你需要对org.wltea.analyzer.Context中的方法
修改为
就好。你需要下载源码然后编译。
如果取得所有的单字,你在搜索的时候,会搜不到词典中没有的词,个人认为这不是好主意
所谓加入主词典不是指被记录到主词典文件中,而是指和主词典放在同一内存区域被匹配,这个是必须的。一般而言,1万个词元暂用1M内存,词典对重复的词不会加载两次,不必担心内存浪费
首先,建议你是用3.1.6GA版本,其次,出现的异常说明你的路径下面没有扩展字典,因为对字典文件的载入是使用classloader的,所以看上去像是类没找到,实际上是字典没找到。
好的,非常感谢您!我马上试试
首先,建议你是用3.1.6GA版本,其次,出现的异常说明你的路径下面没有扩展字典,因为对字典文件的载入是使用classloader的,所以看上去像是类没找到,实际上是字典没找到。
UTF-8要求无BOM格式的,这个在说明文档里已经说了。你的UTF-8一定是带BOM的,所以要空一格
前言
由于Lucene3.0 API的全面升级,且不再与Lucene2.X兼容, IK Analyzer为此推出了3.2.0版本。该版本仅支持Lucene2.9 / 3.0和solr1.4的接口实现。
PS:使用Solr1.3和lucene2.9之前版本的用户请下载IK Analyzer3.1.6GA使用,谢谢!
IK Analyzer 3.2.0版本修订
- 1.支持Lucene3.0 Analyzer实现
- 2.移除solr1.3接口,修改solr1.4接口
- 3.默认开放停止词功能,发布IK自带的ext_stopword.dic停止词典
- 4.优化了IKQueryParser的性能
IK分词器对Lucene及solr的版本支持明细表
下载地址
IKAnalyzer3.2.0稳定版发布包
IKAnalyzer3.2.0稳定版使用手册
评论
74 楼
zard222
2010-04-22
你好,我在solr中使用了,IKTokenizerFactory的配置,但是启动solr自带的example却抛出错误,
使用IKTokenizer配置方式,不会出问题。
异常信息如下:
使用IKTokenizer配置方式,不会出问题。
异常信息如下:
严重: java.lang.AbstractMethodError: org.wltea.analyzer.solr.IKTokenizerFactory create(Ljava/io/Reader;)Lorg/apache/lucene/analysis/Tokenizer; at org.apache.solr.analysis.TokenizerChain.getStream(TokenizerChain.jav :69) at org.apache.solr.analysis.SolrAnalyzer.reusableTokenStream(SolrAnalyz r.java:74) at org.apache.solr.schema.IndexSchema$SolrIndexAnalyzer.reusableTokenSt eam(IndexSchema.java:364) at org.apache.lucene.queryParser.QueryParser.getFieldQuery(QueryParser. ava:567) at org.apache.solr.search.SolrQueryParser.getFieldQuery(SolrQueryParser java:153) at org.apache.solr.util.SolrPluginUtils$DisjunctionMaxQueryParser.getFi ldQuery(SolrPluginUtils.java:807) at org.apache.solr.util.SolrPluginUtils$DisjunctionMaxQueryParser.getFi ldQuery(SolrPluginUtils.java:794) at org.apache.lucene.queryParser.QueryParser.Term(QueryParser.java:1449 at org.apache.lucene.queryParser.QueryParser.Clause(QueryParser.java:13 7) at org.apache.lucene.queryParser.QueryParser.Query(QueryParser.java:126 ) at org.apache.lucene.queryParser.QueryParser.TopLevelQuery(QueryParser. ava:1254) at org.apache.lucene.queryParser.QueryParser.parse(QueryParser.java:200 at org.apache.solr.search.DisMaxQParser.getUserQuery(DisMaxQParser.java 195) at org.apache.solr.search.DisMaxQParser.addMainQuery(DisMaxQParser.java 158) at org.apache.solr.search.DisMaxQParser.parse(DisMaxQParser.java:74) at org.apache.solr.search.QParser.getQuery(QParser.java:131) at org.apache.solr.handler.component.QueryComponent.prepare(QueryCompon nt.java:89) at org.apache.solr.handler.component.SearchHandler.handleRequestBody(Se rchHandler.java:174) at org.apache.solr.handler.RequestHandlerBase.handleRequest(RequestHand erBase.java:131) at org.apache.solr.core.SolrCore.execute(SolrCore.java:1316) at org.apache.solr.core.QuerySenderListener.newSearcher(QuerySenderList ner.java:52) at org.apache.solr.core.SolrCore$3.call(SolrCore.java:1146) at java.util.concurrent.FutureTask$Sync.innerRun(Unknown Source) at java.util.concurrent.FutureTask.run(Unknown Source) at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(Unknown Sourc ) at java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source) at java.lang.Thread.run(Unknown Source)
73 楼
linliangyi2007
2010-04-21
zhang310 写道
linliangyi2007 写道
zhang310 写道
linliangyi2007 写道
zhang310 写道
private static ArrayList<PseudoOriginalBeanVo> getPseudoOriginalList(String str){ ArrayList list=new ArrayList(); try { StringReader reader = new StringReader(str); IKSegmentation analyzer = new IKSegmentation(reader,false); Lexeme a=analyzer.next(); while(a!=null){ PseudoOriginalBeanVo vo=new PseudoOriginalBeanVo(); vo.setBegin(a.getBegin()); vo.setEnd(a.getEndPosition()); vo.setLength(a.getLength()); vo.setText(a.getLexemeText()); vo.setType(a.getLexemeType()); list.add(vo); a=analyzer.next(); } } catch (Exception ex) { MyLog.info("vo:"+ex.toString()); } return list; }
整个系统就调用这一个方法,需要用到中文分词, 不太熟悉,整个系统就无法释放内存,系统内存监视都切图了.希望楼主以及各位指点
IK的词典是单例模型,在启动时载入,且不会释放内存。里面有27w的词条,是分词需要的。这个肯定是不会释放的,释放就遭了,呵呵
感谢lz这么热心肠. 呵呵. 我是应用在简单的网站里面的, 一个tomcat 这样的程序运行了这样这样七个程序了, 所以内存由原来的最高70M 一下涨到了 400M 现在明白这个道理了,
看来我我的中文分词只能做个单独的切割词语接口 提供给其他 web站点使用了,要不 web站点太多内存吃不消.
刚编译了下源码, 确实没有再好办法了,已经很好了.
400M这个夸张了,整个词典之占用27M的内存空间啊,400M估计就是你使用lucene搜索处理不当的缘故了
应该没错了. tomcat下面七个站点 七个站点 都调用你了中文分词,一个27 七个也得二三百M吧 ,再加上源程序的六七十M内存 跟空闲内存 应该不夸张了
是这样啊,那我还是建议你分服务器了,呵呵,很少这么搭服务的。
72 楼
zhang310
2010-04-21
linliangyi2007 写道
zhang310 写道
linliangyi2007 写道
zhang310 写道
private static ArrayList<PseudoOriginalBeanVo> getPseudoOriginalList(String str){ ArrayList list=new ArrayList(); try { StringReader reader = new StringReader(str); IKSegmentation analyzer = new IKSegmentation(reader,false); Lexeme a=analyzer.next(); while(a!=null){ PseudoOriginalBeanVo vo=new PseudoOriginalBeanVo(); vo.setBegin(a.getBegin()); vo.setEnd(a.getEndPosition()); vo.setLength(a.getLength()); vo.setText(a.getLexemeText()); vo.setType(a.getLexemeType()); list.add(vo); a=analyzer.next(); } } catch (Exception ex) { MyLog.info("vo:"+ex.toString()); } return list; }
整个系统就调用这一个方法,需要用到中文分词, 不太熟悉,整个系统就无法释放内存,系统内存监视都切图了.希望楼主以及各位指点
IK的词典是单例模型,在启动时载入,且不会释放内存。里面有27w的词条,是分词需要的。这个肯定是不会释放的,释放就遭了,呵呵
感谢lz这么热心肠. 呵呵. 我是应用在简单的网站里面的, 一个tomcat 这样的程序运行了这样这样七个程序了, 所以内存由原来的最高70M 一下涨到了 400M 现在明白这个道理了,
看来我我的中文分词只能做个单独的切割词语接口 提供给其他 web站点使用了,要不 web站点太多内存吃不消.
刚编译了下源码, 确实没有再好办法了,已经很好了.
400M这个夸张了,整个词典之占用27M的内存空间啊,400M估计就是你使用lucene搜索处理不当的缘故了
应该没错了. tomcat下面七个站点 七个站点 都调用你了中文分词,一个27 七个也得二三百M吧 ,再加上源程序的六七十M内存 跟空闲内存 应该不夸张了
71 楼
linliangyi2007
2010-04-21
zhang310 写道
linliangyi2007 写道
zhang310 写道
private static ArrayList<PseudoOriginalBeanVo> getPseudoOriginalList(String str){ ArrayList list=new ArrayList(); try { StringReader reader = new StringReader(str); IKSegmentation analyzer = new IKSegmentation(reader,false); Lexeme a=analyzer.next(); while(a!=null){ PseudoOriginalBeanVo vo=new PseudoOriginalBeanVo(); vo.setBegin(a.getBegin()); vo.setEnd(a.getEndPosition()); vo.setLength(a.getLength()); vo.setText(a.getLexemeText()); vo.setType(a.getLexemeType()); list.add(vo); a=analyzer.next(); } } catch (Exception ex) { MyLog.info("vo:"+ex.toString()); } return list; }
整个系统就调用这一个方法,需要用到中文分词, 不太熟悉,整个系统就无法释放内存,系统内存监视都切图了.希望楼主以及各位指点
IK的词典是单例模型,在启动时载入,且不会释放内存。里面有27w的词条,是分词需要的。这个肯定是不会释放的,释放就遭了,呵呵
感谢lz这么热心肠. 呵呵. 我是应用在简单的网站里面的, 一个tomcat 这样的程序运行了这样这样七个程序了, 所以内存由原来的最高70M 一下涨到了 400M 现在明白这个道理了,
看来我我的中文分词只能做个单独的切割词语接口 提供给其他 web站点使用了,要不 web站点太多内存吃不消.
刚编译了下源码, 确实没有再好办法了,已经很好了.
400M这个夸张了,整个词典之占用27M的内存空间啊,400M估计就是你使用lucene搜索处理不当的缘故了
70 楼
zhang310
2010-04-20
linliangyi2007 写道
zhang310 写道
private static ArrayList<PseudoOriginalBeanVo> getPseudoOriginalList(String str){ ArrayList list=new ArrayList(); try { StringReader reader = new StringReader(str); IKSegmentation analyzer = new IKSegmentation(reader,false); Lexeme a=analyzer.next(); while(a!=null){ PseudoOriginalBeanVo vo=new PseudoOriginalBeanVo(); vo.setBegin(a.getBegin()); vo.setEnd(a.getEndPosition()); vo.setLength(a.getLength()); vo.setText(a.getLexemeText()); vo.setType(a.getLexemeType()); list.add(vo); a=analyzer.next(); } } catch (Exception ex) { MyLog.info("vo:"+ex.toString()); } return list; }
整个系统就调用这一个方法,需要用到中文分词, 不太熟悉,整个系统就无法释放内存,系统内存监视都切图了.希望楼主以及各位指点
IK的词典是单例模型,在启动时载入,且不会释放内存。里面有27w的词条,是分词需要的。这个肯定是不会释放的,释放就遭了,呵呵
感谢lz这么热心肠. 呵呵. 我是应用在简单的网站里面的, 一个tomcat 这样的程序运行了这样这样七个程序了, 所以内存由原来的最高70M 一下涨到了 400M 现在明白这个道理了,
看来我我的中文分词只能做个单独的切割词语接口 提供给其他 web站点使用了,要不 web站点太多内存吃不消.
刚编译了下源码, 确实没有再好办法了,已经很好了.
69 楼
linliangyi2007
2010-04-20
zhang310 写道
private static ArrayList<PseudoOriginalBeanVo> getPseudoOriginalList(String str){ ArrayList list=new ArrayList(); try { StringReader reader = new StringReader(str); IKSegmentation analyzer = new IKSegmentation(reader,false); Lexeme a=analyzer.next(); while(a!=null){ PseudoOriginalBeanVo vo=new PseudoOriginalBeanVo(); vo.setBegin(a.getBegin()); vo.setEnd(a.getEndPosition()); vo.setLength(a.getLength()); vo.setText(a.getLexemeText()); vo.setType(a.getLexemeType()); list.add(vo); a=analyzer.next(); } } catch (Exception ex) { MyLog.info("vo:"+ex.toString()); } return list; }
整个系统就调用这一个方法,需要用到中文分词, 不太熟悉,整个系统就无法释放内存,系统内存监视都切图了.希望楼主以及各位指点
IK的词典是单例模型,在启动时载入,且不会释放内存。里面有27w的词条,是分词需要的。这个肯定是不会释放的,释放就遭了,呵呵
68 楼
zhang310
2010-04-19
private static ArrayList<PseudoOriginalBeanVo> getPseudoOriginalList(String str){ ArrayList list=new ArrayList(); try { StringReader reader = new StringReader(str); IKSegmentation analyzer = new IKSegmentation(reader,false); Lexeme a=analyzer.next(); while(a!=null){ PseudoOriginalBeanVo vo=new PseudoOriginalBeanVo(); vo.setBegin(a.getBegin()); vo.setEnd(a.getEndPosition()); vo.setLength(a.getLength()); vo.setText(a.getLexemeText()); vo.setType(a.getLexemeType()); list.add(vo); a=analyzer.next(); } } catch (Exception ex) { MyLog.info("vo:"+ex.toString()); } return list; }
整个系统就调用这一个方法,需要用到中文分词, 不太熟悉,整个系统就无法释放内存,系统内存监视都切图了.希望楼主以及各位指点
67 楼
zha_zi
2010-04-13
林老师你好,最近项目中在使用你的ik3.1.5分词器,其中要使用词库扩展功能,
按照使用文档中的的第一种方式Dictionary.loadExtendWords(dictList);
给Dictionary传入一个从数据库读出的List List绝对不是空的
但是 始终java.lang.ExceptionInInitializerError
at org.wltea.analyzer.seg.ChineseSegmenter.<init>(ChineseSegmenter.java:37)
at org.wltea.analyzer.cfg.Configuration.loadSegmenter(Configuration.java:114)
at org.wltea.analyzer.IKSegmentation.<init>(IKSegmentation.java:54)
at iktest.test.testik(test.java:20)
at iktest.test.main(test.java:36)
Caused by: java.lang.NullPointerException
at org.wltea.analyzer.dic.Dictionary.loadExtendWords(Dictionary.java:421)
at org.wltea.analyzer.dic.LoadMyDict.initConn(LoadMyDict.java:30)
at org.wltea.analyzer.dic.Dictionary.<init>(Dictionary.java:84)
at org.wltea.analyzer.dic.Dictionary.<clinit>(Dictionary.java:42)
... 5 more
非常困惑不知道为什么出现这个问题望老师指教
按照使用文档中的的第一种方式Dictionary.loadExtendWords(dictList);
给Dictionary传入一个从数据库读出的List List绝对不是空的
但是 始终java.lang.ExceptionInInitializerError
at org.wltea.analyzer.seg.ChineseSegmenter.<init>(ChineseSegmenter.java:37)
at org.wltea.analyzer.cfg.Configuration.loadSegmenter(Configuration.java:114)
at org.wltea.analyzer.IKSegmentation.<init>(IKSegmentation.java:54)
at iktest.test.testik(test.java:20)
at iktest.test.main(test.java:36)
Caused by: java.lang.NullPointerException
at org.wltea.analyzer.dic.Dictionary.loadExtendWords(Dictionary.java:421)
at org.wltea.analyzer.dic.LoadMyDict.initConn(LoadMyDict.java:30)
at org.wltea.analyzer.dic.Dictionary.<init>(Dictionary.java:84)
at org.wltea.analyzer.dic.Dictionary.<clinit>(Dictionary.java:42)
... 5 more
非常困惑不知道为什么出现这个问题望老师指教
66 楼
linliangyi2007
2010-03-17
lym6520 写道
lz我直接替换之前的jar文件可以吗?需要修改什么吗?
如果你是3.0.0 - 3.1.6GA的替换,你不需要做任何修改。
从3.1.X替换到3.2.0的,如果你使用的是Lucene2.9,那么也不需要修改。
65 楼
linliangyi2007
2010-03-17
zhutouying98 写道
您好,我使用ik分词遇到个问题,就是 比如我查询工行的文章,如果文章量很少,会返回 的文章有 带有工字,并且带有行字的文章出现,怎么样来避免此问题,
第二我希望ik分词器分词至少两个字的分词,比希望分词到字,怎么样来处理,希望您能够回复。
第二我希望ik分词器分词至少两个字的分词,比希望分词到字,怎么样来处理,希望您能够回复。
你需要对org.wltea.analyzer.Context中的方法
/** * 向分词结果集添加词元 * @param lexeme */ public void addLexeme(Lexeme lexeme){ if(!Dictionary.isStopWord(segmentBuff , lexeme.getBegin() , lexeme.getLength())){ this.lexemeSet.addLexeme(lexeme); } }
修改为
/** * 向分词结果集添加词元 * @param lexeme */ public void addLexeme(Lexeme lexeme){ if(lexeme.getLength() > 1 && !Dictionary.isStopWord(segmentBuff , lexeme.getBegin() , lexeme.getLength())){ this.lexemeSet.addLexeme(lexeme); } }
就好。你需要下载源码然后编译。
如果取得所有的单字,你在搜索的时候,会搜不到词典中没有的词,个人认为这不是好主意
64 楼
lym6520
2010-03-17
lz我直接替换之前的jar文件可以吗?需要修改什么吗?
63 楼
zhutouying98
2010-03-17
您好,我使用ik分词遇到个问题,就是 比如我查询工行的文章,如果文章量很少,会返回 的文章有 带有工字,并且带有行字的文章出现,怎么样来避免此问题,
第二我希望ik分词器分词至少两个字的分词,比希望分词到字,怎么样来处理,希望您能够回复。
第二我希望ik分词器分词至少两个字的分词,比希望分词到字,怎么样来处理,希望您能够回复。
62 楼
linliangyi2007
2010-03-15
treason111 写道
楼主,我换成就可以了。另外,我想问问,是不是新字典的新词都会加入到主字典里呢?如果是,那随着我添加字典种类的增多,主字典会不会越来越大呢?
所谓加入主词典不是指被记录到主词典文件中,而是指和主词典放在同一内存区域被匹配,这个是必须的。一般而言,1万个词元暂用1M内存,词典对重复的词不会加载两次,不必担心内存浪费
61 楼
treason111
2010-03-14
楼主,我换成就可以了。另外,我想问问,是不是新字典的新词都会加入到主字典里呢?如果是,那随着我添加字典种类的增多,主字典会不会越来越大呢?
60 楼
treason111
2010-03-14
linliangyi2007 写道
treason111 写道
楼主你好!我在solr1.3用了你的IKAnalyzer3.1.5GA分词,一开始用得都很好,就是在配置扩展词典的时候出错了,首先我没有找到WEBINF/classes目录,于是自己建了一个,把IKAnalyzer.cfg.xml文件放进去,然后就出错了“HTTP Status 500 - javax.servlet.ServletException: java.lang.NoClassDefFoundError: Could not initialize class org.wltea.analyzer.dic.Dictionary”好像是字典位置不对,能给我解释一下路径该怎么设置呢?我是这么设置的“<entry key="ext_dict">solr/WEB-INF/classes/t-base.dic</entry> ”,我用的是tomcat6,感谢您浪费宝贵的时间为我解答
首先,建议你是用3.1.6GA版本,其次,出现的异常说明你的路径下面没有扩展字典,因为对字典文件的载入是使用classloader的,所以看上去像是类没找到,实际上是字典没找到。
好的,非常感谢您!我马上试试
59 楼
linliangyi2007
2010-03-14
treason111 写道
楼主你好!我在solr1.3用了你的IKAnalyzer3.1.5GA分词,一开始用得都很好,就是在配置扩展词典的时候出错了,首先我没有找到WEBINF/classes目录,于是自己建了一个,把IKAnalyzer.cfg.xml文件放进去,然后就出错了“HTTP Status 500 - javax.servlet.ServletException: java.lang.NoClassDefFoundError: Could not initialize class org.wltea.analyzer.dic.Dictionary”好像是字典位置不对,能给我解释一下路径该怎么设置呢?我是这么设置的“<entry key="ext_dict">solr/WEB-INF/classes/t-base.dic</entry> ”,我用的是tomcat6,感谢您浪费宝贵的时间为我解答
首先,建议你是用3.1.6GA版本,其次,出现的异常说明你的路径下面没有扩展字典,因为对字典文件的载入是使用classloader的,所以看上去像是类没找到,实际上是字典没找到。
58 楼
treason111
2010-03-13
楼主你好!我在solr1.3用了你的IKAnalyzer3.1.5GA分词,一开始用得都很好,就是在配置扩展词典的时候出错了,首先我没有找到WEBINF/classes目录,于是自己建了一个,把IKAnalyzer.cfg.xml文件放进去,然后就出错了“HTTP Status 500 - javax.servlet.ServletException: java.lang.NoClassDefFoundError: Could not initialize class org.wltea.analyzer.dic.Dictionary”好像是字典位置不对,能给我解释一下路径该怎么设置呢?我是这么设置的“<entry key="ext_dict">solr/WEB-INF/classes/t-base.dic</entry> ”,我用的是tomcat6,感谢您浪费宝贵的时间为我解答
57 楼
linliangyi2007
2010-03-12
pjw0221 写道
感谢指导,问题解决了,我在文件头 空了一行 就好了。
UTF-8要求无BOM格式的,这个在说明文档里已经说了。你的UTF-8一定是带BOM的,所以要空一格
56 楼
pjw0221
2010-03-12
感谢指导,问题解决了,我在文件头 空了一行 就好了。
55 楼
pjw0221
2010-03-12
经确认。。。格式是utf-8的 依然出问题。
发表评论
-
来自开源支持者的第一笔捐赠
2013-01-09 21:15 57812013年1月9号,一个平凡而又不平常的日子! IK中文分词 ... -
发布 IK Analyzer 2012 FF 版本
2012-10-23 17:50 25091首先感谢大家对IK分词器的关注。 最近一段时间正式公司事务最 ... -
发布 IK Analyzer 2012 版本
2012-03-08 11:23 36188新版本改进: 支持分词歧义处理 支持数量词合并 词典支持中英 ... -
CSDN发生严重用户账号泄密事件
2011-12-21 19:21 2566之前有在CSDN注册过的兄弟们,注意了。。。 如果你的邮箱, ... -
一个隐形的java int溢出
2011-08-30 09:44 7560故事的背景: 笔者最近在做一个类SNS的项目,其中 ... -
雷军 :互联网创业的葵花宝典
2011-05-04 10:35 3597博主评: 这片博客很短 ... -
Luci-mint站内搜索实测
2011-04-02 16:18 4144关于Luci-mint 服务器硬 ... -
发布 IK Analyzer 3.2.8 for Lucene3.X
2011-03-04 17:49 14259IK Analyzer 3.2.8版本修订 ... -
TIPS - XML CDATA中的非法字符处理
2011-02-17 15:03 3305XML解析过程中,常遇见CDATA中存在非法字符,尤其在火星文 ... -
对Cassandra的初体验
2010-10-13 17:58 9143作为“云计算”时代的架构设计人员而言,不懂K-V库会被 ... -
Spring + iBatis 的多库横向切分简易解决思路
2010-10-11 13:43 93661.引言 笔者最近在做一个互联网的“类SNS”应用,应用 ... -
发布 IK Analyzer 3.2.5 稳定版 for Lucene3.0
2010-09-08 14:43 5823新版本IKAnnlyzer3.2.8已发布! 地址: http ... -
关于Lucene3.0.1 QueryParser的一个错误
2010-05-21 21:33 2132表达式1: 引用 id:"1231231" ... -
发布 IK Analyzer 3.2.3 稳定版 for Lucene3.0
2010-05-15 14:13 6720IK Analyzer 3.2.3版本修订 在3.2.0版 ... -
windows平台上的nginx使用
2010-01-28 17:13 3407转载自:http://nginx.org/en/docs/wi ... -
在Tomcat下以JNDI方式发布JbossCache
2009-12-04 10:57 3837前言: 看过JbossCache的开发手册,发现在Jb ... -
Spring AOP小例子
2009-11-16 10:35 3406PS: 要注明一下,这个是转载滴,之前漏了说鸟,汗死 这里给 ... -
ActiveMQ 5.X 与 Tomcat 集成一(JNDI部署)
2009-11-10 15:15 5651原文地址:http://activemq.apache.org ... -
发布IKAnalyzer中文分词器V3.1.6GA
2009-11-08 23:10 11860IKAnalyzer3.2.0稳定版已经发布,支持Lucene ... -
设计模式感悟
2009-11-07 17:57 3697最近又把以前学习的模式过了一遍,感觉模式不是学出来的,是悟出来 ...
相关推荐
本包是从OpenCV3.2.0源码中编译得来,包中含有include目录、bin目录和lib目录,没有冗余文件,下载后解压即可使用,不用安装,简单可靠。使用VS,需要在项目属性中添加头文件目录和库目录,具体见OpenCV的配置方法。
总的来说,Proneta Pro 3.2.0 作为一款专业版软件,旨在提供全面的数据管理和安全解决方案,帮助用户在日常工作中实现更高效、更安全的数据处理。通过详细阅读"使用说明.txt"并正确安装"proneta_3_2_0_0" 文件,用户...
Mac 苹果系统下面的GIT图形化管理工具,tower pro 3.2.0最新破解特别版
这个注册版意味着用户可以获得全部功能而无需额外购买许可证,这对于需要频繁使用高级GIS功能的专业人士来说,无疑是一个很大的便利。 XTools Pro提供的扩展功能涵盖了许多方面: 1. 数据处理:包括批量转换数据...
Sorry,我知道是要免费提供的,可是我的CSDN老是不够用 此版本能够看到记录,某用户的记录,并删除记录。 一.... ------------------ WeLive在线客服系统是一个程序小巧, 安装使用简单的网上在线客服系统, 主要特点:...
新版本的IKAnalyzer3.0则发展为面向Java的公用分词组件,独立于Lucene项目,同时提供了对Lucene的默认优化实现。 IKAnalyzer3.0特性: 采用了特有的“正向迭代最细粒度切分算法“,具有60万字/秒的高速处理能力...
在2019年12月发布的Wireshark 3.2.0版本中,它为用户提供了更加强大的功能和改进,尤其是对5G NR(New Radio)和WIFI等通信协议的支持,使得在Windows 64位操作系统上分析这些高级通信技术的数据流变得更加便捷。...
2. 问题修复:针对V3.2.0存在的部分bug,V3.2.1进行了修复,提升了整体稳定性。 3. 新增功能:可能包含了一些新的特性或者功能增强,具体取决于该版本的更新日志。 总结来说,Eclipse Tomcat Plugin从V3.0到V3.2.1...
mac的android studio 3.1.2版本和 3.2.0版本,是dmg格式的,下载之后 直接将android 图标拖到右侧即可,我将内容分享到了百度网盘, 永久有效,有需要的朋友们 可以下载
经历了数月艰苦的开放和程序员最痛苦的测试,今天,世上最强,最完善,最稳定和测试最充分,文档最完整的旗舰版和平之翼Java通用代码生成器SMEU 3.2.0 正式版乌篷船盛装发布了。欢迎大家下载使用。 请至本项目码云...
在这个"OPENCV3.2.0版本.zip"压缩包中,包含的是OpenCV 3.2.0的安装程序——opencv-3.2.0-vc14.exe,这是一个适用于Windows 10系统的预编译版本,特别针对Visual Studio 2015 (VC14)进行优化。 OpenCV 3.2.0是该库...
喜获的同学可以下在别忘记评论,工具很好用快快来下哦
在"压缩包子文件的文件名称列表"中,"spring-3.2.0.M1-dist"可能是一个预发布版本(M1代表 Milestone 1),它是在正式版本发布前的一个测试版,用于收集反馈和修复问题。尽管不是最终版本,但M1版本已经包含了大部分...
tomcatPluginV3.2.1 tomcatPluginV3.0 tomcatPluginV3.2.0 TomcatPlugin是一个由Sysdeo公司开发的,用于在Eclipse中启动和管理Tomcat的一个插件。 用Eclipse开发WEB项目的时候,如果你有安装了Myeclipse,就可以...
ExtJS 3.2.0 API 中文版 CHM
版本3.2.0是一个稳定版本,修复了之前版本中的许多bug,并可能引入了一些新的特性以提升性能和兼容性。 在“exosip2-3.2.0 wince版”中,提供的编译好的库文件是专门为Windows CE操作系统编译的,这意味着开发者...
setup-3.2.0-网络版.exe
2. **版本管理**:定期更新 OpenSSL 到最新稳定版,以获取最新的安全修复和功能。 3. **测试与验证**:使用第三方工具进行加密库的测试,如 NIST 的测试套件,确保实现的加密算法正确无误。 综上所述,OpenSSL ...
lucene-core-3.2.0.jar 全文检索
在这个“opencv 3.2.0版本下载.zip”压缩包中,我们聚焦于在Linux环境下,特别是ARM架构的lUbuntu 16.04系统上配置OpenCV 3.2.0与Python 3.2.0的集成。 首先,安装OpenCV通常需要CMake工具,因为它是构建OpenCV的...