相关推荐
-
国内外优秀开源项目创始人专访
这几年陆续采访了国内外一些优秀开源项目的zuozh
-
R语言︱文本挖掘之中文分词包——Rwordseg包(原理、功能、详解)
笔者寄语:与前面的RsowballC分词不同的地方在于这是一个中文的分词包,简单易懂,分词是一个非常重要的步骤,可以通过一些字典,进行特定分词。大致分析步骤如下: 数据导入——选择分词字典——分词 但是下载...
-
中文分词工具Rwordseg
Ansj 也是一个开源的 Java 中文分词工具,基于中科院的 ictclas 中文分词算法,采用隐马尔科夫模型(Hidden Markov Model, HMM)。作者孙健重写了一个Java版本,并且全部开源,使得 Ansi 可用于人名识别、地名识别...
-
中文分词的应用 新浪和庖丁两种方式对比
中文分词相比于英文难度要大得多,涉及到自然语言的理解和处理。分词也是文本挖掘中的关键技术之一,百度也是因为中文分词相比于google更优秀,才做到中文的检索结果更优。实际上新浪、百度云服务上很多开发者也开放...
-
Lucene下分词工具的学习探讨
今天一天学习的东西不多,除了看《Lucene实战》第20页的程序,就是研究Java版本的开源分词器了! 在网上找到了两种分词器,ansj和imdict,本质上没有什么区别,都是用采用ICTCLAS的核心。个人觉得ansj要更好一些,...
-
NLP自然语言处理干货贴
摘要:作者:苏剑林 来源网站:科学空间 原文链接:OCR技术浅探:9. 代码共享(完) 文件说明: 1. image... 2.OCR技术浅探:8. 综合评估 摘要:作者:苏剑林 来源网站:科学空间 原文链接:OCR技术浅探:8. 综合...
-
《数据结构》(02331)基础概念
内容概要:本文档《数据结构》(02331)第一章主要介绍数据结构的基础概念,涵盖数据与数据元素的定义及其特性,详细阐述了数据结构的三大要素:逻辑结构、存储结构和数据运算。逻辑结构分为线性结构(如线性表、栈、队列)、树形结构(涉及根节点、父节点、子节点等术语)和其他结构。存储结构对比了顺序存储和链式存储的特点,包括访问方式、插入删除操作的时间复杂度以及空间分配方式,并介绍了索引存储和散列存储的概念。最后讲解了抽象数据类型(ADT)的定义及其组成部分,并探讨了算法分析中的时间复杂度计算方法。 适合人群:计算机相关专业学生或初学者,对数据结构有一定兴趣并希望系统学习其基础知识的人群。 使用场景及目标:①理解数据结构的基本概念,掌握逻辑结构和存储结构的区别与联系;②熟悉不同存储方式的特点及应用场景;③学会分析简单算法的时间复杂度,为后续深入学习打下坚实基础。 阅读建议:本章节内容较为理论化,建议结合实际案例进行理解,尤其是对于逻辑结构和存储结构的理解要深入到具体的应用场景中,同时可以尝试编写一些简单的程序来加深对抽象数据类型的认识。
-
【工业自动化】施耐德M580 PLC系统架构详解:存储结构、硬件配置与冗余设计
内容概要:本文详细介绍了施耐德M580系列PLC的存储结构、系统硬件架构、上电写入程序及CPU冗余特性。在存储结构方面,涵盖拓扑寻址、Device DDT远程寻址以及寄存器寻址三种方式,详细解释了不同类型的寻址方法及其应用场景。系统硬件架构部分,阐述了最小系统的构建要素,包括CPU、机架和模块的选择与配置,并介绍了常见的系统拓扑结构,如简单的机架间拓扑和远程子站以太网菊花链等。上电写入程序环节,说明了通过USB和以太网两种接口进行程序下载的具体步骤,特别是针对初次下载时IP地址的设置方法。最后,CPU冗余部分重点描述了热备功能的实现机制,包括IP通讯地址配置和热备拓扑结构。 适合人群:从事工业自动化领域工作的技术人员,特别是对PLC编程及系统集成有一定了解的工程师。 使用场景及目标:①帮助工程师理解施耐德M580系列PLC的寻址机制,以便更好地进行模块配置和编程;②指导工程师完成最小系统的搭建,优化系统拓扑结构的设计;③提供详细的上电写入程序指南,确保程序下载顺利进行;④解释CPU冗余的实现方式,提高系统的稳定性和可靠性。 其他说明:文中还涉及一些特殊模块的功能介绍,如定时器事件和Modbus串口通讯模块,这些内容有助于用户深入了解M580系列PLC的高级应用。此外,附录部分提供了远程子站和热备冗余系统的实物图片,便于用户直观理解相关概念。
-
某型自动垂直提升仓储系统方案论证及关键零部件的设计.zip
某型自动垂直提升仓储系统方案论证及关键零部件的设计.zip
-
2135D3F1EFA99CB590678658F575DB23.pdf#page=1&view=fitH
2135D3F1EFA99CB590678658F575DB23.pdf#page=1&view=fitH
-
agentransack文本搜索软件
可以搜索文本内的内容,指定目录,指定文件格式,匹配大小写等
-
Windows 平台 Android Studio 下载与安装指南.zip
Windows 平台 Android Studio 下载与安装指南.zip
-
Android Studio Meerkat 2024.3.1 Patch 1(android-studio-2024.3.1.14-windows-zip.zip.002)
Android Studio Meerkat 2024.3.1 Patch 1(android-studio-2024.3.1.14-windows.zip)适用于Windows系统,文件使用360压缩软件分割成两个压缩包,必须一起下载使用: part1: https://download.csdn.net/download/weixin_43800734/90557033 part2: https://download.csdn.net/download/weixin_43800734/90557035
-
4-3-台区智能融合终端功能模块技术规范(试行).pdf
国网台区终端最新规范
-
4-13-台区智能融合终端软件检测规范(试行).pdf
国网台区终端最新规范
-
【锂电池剩余寿命预测】Transformer-GRU锂电池剩余寿命预测(Matlab完整源码和数据)
1.【锂电池剩余寿命预测】Transformer-GRU锂电池剩余寿命预测(Matlab完整源码和数据) 2.数据集:NASA数据集,已经处理好,B0005电池训练、B0006测试; 3.环境准备:Matlab2023b,可读性强; 4.模型描述:Transformer-GRU在各种各样的问题上表现非常出色,现在被广泛使用。 5.领域描述:近年来,随着锂离子电池的能量密度、功率密度逐渐提升,其安全性能与剩余使用寿命预测变得愈发重要。本代码实现了Transformer-GRU在该领域的应用。 6.作者介绍:机器学习之心,博客专家认证,机器学习领域创作者,2023博客之星TOP50,主做机器学习和深度学习时序、回归、分类、聚类和降维等程序设计和案例分析,文章底部有博主联系方式。从事Matlab、Python算法仿真工作8年,更多仿真源码、数据集定制私信。
-
基于android的家庭收纳App的设计与实现.zip
Android项目原生java语言课程设计,包含LW+ppt
-
大学生入门前端-五子棋vue项目
大学生入门前端-五子棋vue项目
-
二手车分析完整项目,包含源代码和数据集,包含:XGBoost 模型,训练模型代码,数据集包含 10,000 条二手车记录的数据集,涵盖车辆品牌、型号、年份、里程数、发动机缸数、价格等
这是一个完整的端到端解决方案,用于分析和预测阿联酋(UAE)地区的二手车价格。数据集包含 10,000 条二手车信息,覆盖了迪拜、阿布扎比和沙迦等城市,并提供了精确的地理位置数据。此外,项目还包括一个基于 Dash 构建的 Web 应用程序代码和一个训练好的 XGBoost 模型,帮助用户探索区域市场趋势、预测车价以及可视化地理空间洞察。 数据集内容 项目文件以压缩 ZIP 归档形式提供,包含以下内容: 数据文件: data/uae_used_cars_10k.csv:包含 10,000 条二手车记录的数据集,涵盖车辆品牌、型号、年份、里程数、发动机缸数、价格、变速箱类型、燃料类型、颜色、描述以及销售地点(如迪拜、阿布扎比、沙迦)。 模型文件: models/stacking_model.pkl:训练好的 XGBoost 模型,用于预测二手车价格。 models/scaler.pkl:用于数据预处理的缩放器。 models.py:模型相关功能的实现。 train_model.py:训练模型的脚本。 Web 应用程序文件: app.py:Dash 应用程序的主文件。 callback
166 楼 ansjsun 2013-11-19 11:46
在我git中有个tree-split的项目.中有这个包...你也可以从我git的代码仓库中直接下载这个jar...看git的首页说明谢谢
165 楼 cdmamata 2013-11-19 11:37
164 楼 ansjsun 2013-11-01 11:10
http://stackoverflow.com/questions/4877691/is-it-possible-to-run-several-map-task-in-one-jvm/4878134#4878134
To my best knowledge, there is no easy way for multiple map tasks (Hadoop) to share static data structures.
This is actually a known problem for current Map Reduce model. The reason that current implementation doesn't share static datas across map tasks is because Hadoop is designed to be highly reliable. As a result, if a task fails, it will only crash its own JVM. It will not impact the execution of other JVMs.
163 楼 andyshar 2013-10-31 15:05
http://stackoverflow.com/questions/4877691/is-it-possible-to-run-several-map-task-in-one-jvm/4878134#4878134
To my best knowledge, there is no easy way for multiple map tasks (Hadoop) to share static data structures.
This is actually a known problem for current Map Reduce model. The reason that current implementation doesn't share static datas across map tasks is because Hadoop is designed to be highly reliable. As a result, if a task fails, it will only crash its own JVM. It will not impact the execution of other JVMs.
162 楼 ansjsun 2013-10-22 13:19
语义分析是构建语法树吗?如果有兴趣欢迎加入的。目前ansj没有语法树的构建。
关于hadoop jvm重用很简单的
http://jerrylead.iteye.com/blog/1195335
可以参考这里。我很早以前设置过一次。
词库的加载和分词其实是分开的。因为用户自定义辞典是外部的。。最新的ansj只提供了基础辞典大约10w个词左右。这10w个词主要用来处理歧义。
161 楼 andyshar 2013-10-22 10:18
160 楼 ansjsun 2013-10-21 17:26
请问这个公式的原理是?有没有相关的文章可以推荐一下,还有就是MAX_FREQUENCE的取值为什么是2079997,后边那个80000又是怎么来的?多谢了!
抄袭来的。。。:-)。你可以看最大熵马尔科夫。。然后看看北野斯。。就这两个东西。。。
159 楼 rtygbwwwerr 2013-10-21 16:28
请问这个公式的原理是?有没有相关的文章可以推荐一下,还有就是MAX_FREQUENCE的取值为什么是2079997,后边那个80000又是怎么来的?多谢了!
158 楼 woshiliulei0 2013-10-20 18:11
我从github上面下载的jar包中包含好像两个版本、第三个是从网上下载的
①ansj_seg-0.9.jar,文件大小4.63M,里面有company,META-INF,nature,newWord,org
,person,arrays.dic,bigramdict.dic,englishLibrary.dic,jianFan.dic,numberLibrary.dic,但是里面没有library.properties文件
②ansj_seg-0.8.jar.jar,文件大小7.5M,里面有文件
③ans_seg-20130615.jar(这是从网上下载的版本)里面有文件love,META-INF,org,library.properties,
写了个最简单的程序,也创建了自定义词典library/userLibrary/userLibrary.dic
public static void main(String[] args) {
// TODO Auto-generated method stub
List paser = ToAnalysis.parse("csdn创新院是一个好公司");
System.out.println(paser);
}
但是只有第①个jar包导入项目中能分词,但是不能按照自定义字典的字分,
第③②个直接在程序运行时就报错,也不能分词
init user userLibrary ok path is : D:\MyEclipse8.5\java1\library\userLibrary\userLibrary.dic
init ambiguity waring :null because : not find that file or can not to read !
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
at java.lang.String.substring(String.java:1940)
at java.lang.String.subSequence(String.java:1973)
at java.util.regex.Pattern.split(Pattern.java:1002)
at java.lang.String.split(String.java:2293)
at java.lang.String.split(String.java:2335)
at org.ansj.domain.TermNature.setNatureStrToArray(Unknown Source)
at org.ansj.library.InitDictionary.initArrays(Unknown Source)
at org.ansj.library.InitDictionary.initArrays(Unknown Source)
at org.ansj.library.InitDictionary.init(Unknown Source)
at org.ansj.library.InitDictionary.<clinit>(Unknown Source)
at org.ansj.splitWord.Analysis.analysis(Unknown Source)
at org.ansj.splitWord.Analysis.analysisStr(Unknown Source)
at org.ansj.splitWord.Analysis.parseStr(Unknown Source)
at org.ansj.splitWord.analysis.ToAnalysis.parse(Unknown Source)
at java.main(java.java:20)
一定要帮帮我啊,最好加我qq:1759242922,在线请教你一下。谢谢谢谢。。。。
157 楼 ansjsun 2013-10-18 21:02
int[][] locFreq,debug了一下,发现里边是一个变长的数组
{{x,x}{x,x,x}{x,x,x,x}},请问这里边数值的含义是什么?
这个是。每个名字在词位置的频率。。你得看注释。。大概就是这个意思
156 楼 ansjsun 2013-10-18 21:00
是很慢。。因为辞典加载比较耗时。你可以每个task重用jvm来解决。。部分人名识别是有错误的但是也是不可避免的。
155 楼 rtygbwwwerr 2013-10-18 16:53
int[][] locFreq,debug了一下,发现里边是一个变长的数组
{{x,x}{x,x,x}{x,x,x,x}},请问这里边数值的含义是什么?
154 楼 andyshar 2013-10-18 11:20
153 楼 ansjsun 2013-10-12 18:47
package org.ansj.app.keyword;找不到包呢,是什么情况,如果放到java web 中怎么用呢,求解
这是maven项目的结构。。
152 楼 woshiliulei0 2013-10-12 09:03
package org.ansj.app.keyword;找不到包呢,是什么情况,如果放到java web 中怎么用呢,求解
151 楼 rtygbwwwerr 2013-10-11 09:56
150 楼 ansjsun 2013-10-10 19:40
看了下InitDictionary.java中的注释,注释内容是“数组用来存放单词的转换..其实就是一个DFA转换过程”,还是甚感疑惑。求指教,谢谢!
那些数字是数组的下标..你得看双数组tire树就明白了
149 楼 rtygbwwwerr 2013-10-10 19:15
看了下InitDictionary.java中的注释,注释内容是“数组用来存放单词的转换..其实就是一个DFA转换过程”,还是甚感疑惑。求指教,谢谢!
148 楼 曾洪星 2013-10-08 17:33
你没有看错。直接就是最优路径。。其他路径为了计算成本没有例举。。我觉得例举出来也是没有太大意义的
谢谢你的回答!还有2个疑问:
1.刚刚更新了最新版本,发现核心词典的词数好像少了很多,想问下这个词典的更改是出于什么原则?
2.发现的新词好像是加到一个树里边的吧,那这些词是怎么在以后的分词中起作用的?好像分词的过程里并没有使用到这个树吧?
刚接触这方面的知识,请指教,谢谢啦!
1.核心辞典保证词的最基本的颗粒度。。就是颗粒度越细越好。但是不好是一个字。起到一个消歧义的过程。遮阳ngrame的纬度也少一些。
2.新词发现的树是一个数据结构。。本身没有什么意义。。。倒是有一个用户自定义辞典的树是有用的
明白了,thx~~
147 楼 ansjsun 2013-10-08 16:49
你没有看错。直接就是最优路径。。其他路径为了计算成本没有例举。。我觉得例举出来也是没有太大意义的
谢谢你的回答!还有2个疑问:
1.刚刚更新了最新版本,发现核心词典的词数好像少了很多,想问下这个词典的更改是出于什么原则?
2.发现的新词好像是加到一个树里边的吧,那这些词是怎么在以后的分词中起作用的?好像分词的过程里并没有使用到这个树吧?
刚接触这方面的知识,请指教,谢谢啦!
1.核心辞典保证词的最基本的颗粒度。。就是颗粒度越细越好。但是不好是一个字。起到一个消歧义的过程。遮阳ngrame的纬度也少一些。
2.新词发现的树是一个数据结构。。本身没有什么意义。。。倒是有一个用户自定义辞典的树是有用的
146 楼 曾洪星 2013-10-08 16:01
你没有看错。直接就是最优路径。。其他路径为了计算成本没有例举。。我觉得例举出来也是没有太大意义的
谢谢你的回答!还有2个疑问:
1.刚刚更新了最新版本,发现核心词典的词数好像少了很多,想问下这个词典的更改是出于什么原则?
2.发现的新词好像是加到一个树里边的吧,那这些词是怎么在以后的分词中起作用的?好像分词的过程里并没有使用到这个树吧?
刚接触这方面的知识,请指教,谢谢啦!
145 楼 ansjsun 2013-10-08 14:11
你没有看错。直接就是最优路径。。其他路径为了计算成本没有例举。。我觉得例举出来也是没有太大意义的
144 楼 曾洪星 2013-10-07 16:25
143 楼 ansjsun 2013-09-12 21:19
将 github上面的 maven 项目打成jar包后,在 UserDefineLibrary 类的initAmbiguityLibrary 方法中,因为是在jar包中,所以 这段代码 :
"if (file.isFile() && file.canRead()) {" 始终是找不到 library 下的资源文件的,提示 "init ambiguity error : .... because : not find that file or can not to read !"
不知道这个 BUG 对结果会不会有影响。
望回复
明白了,library 是用户词库,是作为外部资源使用的。另外,用户自定义词库文件 *.dic 的格式可否说明一下
看我github的wiki里面有这个格式的说明...
142 楼 cdmamata 2013-09-11 10:29
将 github上面的 maven 项目打成jar包后,在 UserDefineLibrary 类的initAmbiguityLibrary 方法中,因为是在jar包中,所以 这段代码 :
"if (file.isFile() && file.canRead()) {" 始终是找不到 library 下的资源文件的,提示 "init ambiguity error : .... because : not find that file or can not to read !"
不知道这个 BUG 对结果会不会有影响。
望回复
明白了,library 是用户词库,是作为外部资源使用的。另外,用户自定义词库文件 *.dic 的格式可否说明一下
141 楼 cdmamata 2013-09-11 09:41
将 github上面的 maven 项目打成jar包后,在 UserDefineLibrary 类的initAmbiguityLibrary 方法中,因为是在jar包中,所以 这段代码 :
"if (file.isFile() && file.canRead()) {" 始终是找不到 library 下的资源文件的,提示 "init ambiguity error : .... because : not find that file or can not to read !"
不知道这个 BUG 对结果会不会有影响。
望回复
140 楼 cdmamata 2013-09-11 09:40
将 github上面的 maven 项目打成jar包后,在 UserDefineLibrary 类的initAmbiguityLibrary 方法中,因为是在jar包中,所以 这段代码 :
"if (file.isFile() && file.canRead()) {" 始终是找不到 library 下的资源文件的,提示 "init ambiguity error : .... because : not find that file or can not to read !"
不知道这个 BUG 对结果会不会有影响。
139 楼 ansjsun 2013-06-04 09:37
如果没有起作用.可能是因为.1.词典没有读取到.2.用户自定义词与粗分结果.产生冲突.这种情况会按照粗分接过来算.
临时加入到词典的.是放到内存中.不会写入到文件的..
为什么会出现词典没有读取到呢,library.properties文件中不是已经指定路径了么,我是直接下的源码运行的不是jar包,请问读取自定义词典的具体类和方法在哪,多谢!
UserDefineLibrary.loadFile(UserDefineLibrary.FOREST, new File("词典路径")) ;
可以通过这种方式来加载..
看这里
https://github.com/ansjsun/ansj_seg/wiki/%E7%94%A8%E6%88%B7%E8%87%AA%E5%AE%9A%E4%B9%89%E8%AF%8D%E5%85%B8%E8%B7%AF%E5%BE%84%E8%AE%BE%E7%BD%AE
ps:
138 楼 violet0925 2013-06-04 08:43
如果没有起作用.可能是因为.1.词典没有读取到.2.用户自定义词与粗分结果.产生冲突.这种情况会按照粗分接过来算.
临时加入到词典的.是放到内存中.不会写入到文件的..
为什么会出现词典没有读取到呢,library.properties文件中不是已经指定路径了么,我是直接下的源码运行的不是jar包,请问读取自定义词典的具体类和方法在哪,多谢!
137 楼 ansjsun 2013-06-03 16:32
如果没有起作用.可能是因为.1.词典没有读取到.2.用户自定义词与粗分结果.产生冲突.这种情况会按照粗分接过来算.
临时加入到词典的.是放到内存中.不会写入到文件的..