tianyalinfeng
- 浏览: 442441 次
- 性别:
- 来自: 苏州
-
最新评论
-
huguyue1988：
怎么样可以判断访问的音乐加载完成了呢？我的界面要加载多个这个的 ...
jPlayer的一些用法 -
永不悔你：
[color=yellow][/c[*][img][/img] ...
MyEclipse 9.0运行速度优化 -
tianyalinfeng：
这个教程里都有吧
jquery 筛选器 -
mengfei86：
你太牛了，我找了半天的问题，你一句代码搞定了，谢了，id^, ...
jquery 筛选器
相关推荐
### 基于统计和规则的未登录词识别方法研究 #### 一、研究背景与意义 在中文信息处理领域，未登录词识别一直是研究的重点和难点之一。所谓未登录词，指的是那些在已有的词典中不存在的新词或者非常见词汇。随着...
### 基于位置信息的未登录词识别方法 #### 概述 本文提出了一种新的未登录词识别方法，该方法主要利用汉字内码及其在文档中的位置信息来进行未登录词的识别。未登录词是指那些在词典中没有出现过的新词或罕见词，...
针对维汉统计机器翻译中未登录词较多的现象和维吾尔语语言资源匮乏这一现状, 结合维吾尔语构词特征以及相应的字符串相似度算法, 提出了一种基于字符串相似度的维汉机器翻译未登录词识别模型。该模型借助短语表和外部...
基于决策树的汉语未登录词识别 基于决策树的汉语未登录词识别
藏文中后接成份出现频率较高，分词中未登录词的后缀单切现象会影响分词的正确率，为此，采用词(语素)+缀归并的方法，将藏文后接成份与前一词(语素)归并为一个切分单位输出。针对藏文中大量人名、地名、单位名等未...
针对维汉统计机器翻译中未登录词较多的现象和维吾尔语语言资源匮乏这一现状, 结合维吾尔语构词特征以及相应的字符串相似度算法, 提出了一种基于字符串相似度的维汉机器翻译未登录词识别模型。该模型借助短语表和外部...
### 一种基于位置信息的未登录词的识别方法 (2008年) #### 概述 本文介绍了一种利用汉字内码及其位置信息来进行未登录词识别的新方法。该方法首先在内存中构建了一个汉字内码的词典，并按照内码的升序排列；然后，...
论文参考资料
针对目前中文分词技术主要依赖于常用词词典,而词典对未登录词识别率较低的问题,提出一种用双词典识别未登录词的方法,即构建一个常用词词典和一个单字词词典,二者相互结合进行分词,有效解决了对未登录词识别效率偏低...
- **未登录词识别**：对于词典中未收录的新词或专业术语，如何正确地进行分词是另一个难题。 - **停用词处理**：如何有效过滤掉对语义贡献较小的词汇也是分词技术中的一个重要方面。 3. **分词方法** - **基于...
提出了一种基于层叠隐马模型的汉语词法分析方法,旨在将汉语分词、词性标注、切分排歧和未登录词识别集 成到一个完整的理论框架中1在分词方面,采取的是基于类的隐马模型,在这层隐马模型中,未登录词和词典中收录的普 ...
3. 大规模应用：FastText可以处理上亿级别的词汇，这在处理中文语料时非常有用，因为中文词汇数量庞大，且存在大量未登录词。 三、FastText在中文NLP的应用价值 1. 深度模型初始化：预训练的FastText词向量可以...
3. 混合分词：结合词典和统计方法，既保留词典的高精度，又利用统计模型处理未登录词。 三、搜索引擎中的分词应用 1. 索引构建：搜索引擎首先对网页内容进行分词，然后将这些词汇作为索引项，构建倒排索引。倒排...
- **未登录词特征**：基于汉语的构词特点，采用词缀信息作为特征，帮助判断未登录词的词性。 **2. CRFs建模** CRFs作为一种概率模型，能够高效地处理序列标注问题。通过定义一个条件概率分布来计算给定观测序列的...
然而，这种方法无法处理未登录词（OOV，Out-of-Vocabulary）问题，即那些在训练集中未出现过的词。基于字符的词向量模型则试图解决这一问题，它不是直接对词进行建模，而是对构成词的字符序列进行建模。 基于字符...
但基于词典的研究依赖于情感词典，由于新的词汇以及未登录词较多，情感 词典的构建难度较大，且词语缺少强度量化。机器学习的方法不能较好解决多个情感 词时引发的情感发散问题。本文提出了结合词典和机器学习的情感...
对于未登录词（不在词典中的词汇），可以通过词形还原、N-gram模型等方式进行处理。 此外，词典的构建和维护是一项持续的工作，需要不断根据新的语料库和应用场景进行更新和优化。对于特定领域，如医学、法律、科技...
另一种常见方法是FastText，它不仅考虑词的整体，还考虑词内部的字符n-gram，对未登录词有较好的处理能力，这对于医学领域中存在大量专业术语的情况尤为重要。 在中文医学词向量的训练过程中，需要特别注意以下几点...
该算法首先利用组合词识别算法极大地改进分词效果，能识别网页上绝大多数的新词、未登录词，为提高关键词自动抽取准确率奠定了坚实的基础；同时利用构造的同义词集，合并同义词的词频，避免了同义词在输出结果中同现...