adnb34g
- 浏览: 83318 次
-
最新评论
文章列表
前几天的召开的2019年大数据生态产业大会不知道大家关注到没有，看到消息是hanlp2.0版本发布了。不知道hanlp2.0版本又将带来哪些新的变化？准备近期看能够拿到一些hanlp2.0的资料，如果能顺利拿到的话，到时候分享给大家！今天分享这篇是关于将hanlp封装到web services服务中的。文章的部分内容有修改，阅读室请注意！
1. Apache Axis2简要介绍
Apache Axis2 是一种web services的引擎。支持SOAP和WSDL协议。它有两种语言的实现分别是Java实现的Apache Axis2/Java，和Apache Axi ...
本篇分享一个hanlp分词工具应用的案例，简单来说就是做一图库，让商家轻松方便的配置商品的图片，最好是可以一键完成配置的。
先看一下效果图吧：
商品单个推荐效果：匹配度高的放在最前面
这个 ...
本篇文章将重点讲解HanLP的ViterbiSegment分词器类，而不涉及感知机和条件随机场分词器，也不涉及基于字的分词器。因为这些分词器都不是我们在实践中常用的，而且ViterbiSegment也是作者直接封装到HanLP类中的分词器，作者也推 ...
HanLP发射矩阵词典nr.txt中收录单字姓氏393个。袁义达在《中国的三大姓氏是如何统计出来的》文献中指出：当代中国100个常见姓氏中，集中了全国人口的87%，根据这一数据我们只保留nr.txt中的100个常见词语的姓氏角色，其他词语去掉其姓氏角色状态。过滤后，nr.txt中具有姓氏角色的单字共计97个。列于下表：
丁 万 乔 于 任 何 余 侯 傅 冯 刘 卢 史 叶 吕 吴 周 唐 夏 姚
姜 孔 孙
Hanlp-地名识别调试方法详解
- 博客分类：
- 人工智能，机器学习
HanLP收词特别是实体比较多，因此特别容易造成误识别。下边举几个地名误识别的例子，需要指出的是，后边的机构名识别也以地名识别为基础，因此，如果地名识别不准确，也会导致机构名识别不准确。
类型1 数字+地名
[1] 暗访哈尔滨网约车：下10单来7辆“黑车” 1辆套牌
Hanlp自然语言处理包中的基于HMM-Viterbi处理人名识别的内容大概在年初的有分享过这类的文章，时间稍微久了一点，有点忘记了。看了 baiziyu 分享的这篇比我之前分享的要简单明了的多。下面就把文章分享给大家交流学习之用，部分内容有做修改。
本文主要介绍一下HanLP是如何利用HMM来做人名识别的。基本思想是把词语序列作为观测序列，将角色序列作为隐藏序列，当模型预测出最佳隐藏状态序列后，利用模式最大匹配法，匹配出人名实体。下边说一模型的三要素在这个应用中所对应的内容，因为训练阶段就是要求解这三个要素的值。
假设有下边的观测序列和其对应的隐藏序列
观察值序列： ...
文章整理自 baiziyu 的知乎专栏，感兴趣的朋友可以去关注下这位大神的专栏，很多关于自然语言处理的文章写的很不错。昨天看到他的分享的两篇关于朴素贝叶斯分类预测的文章，整理了一下分享给给大家，文章已做部分修 ...
HanLP-地名识别调试方法
- 博客分类：
- hanlp
HanLP收词特别是实体比较多，因此特别容易造成误识别。下边举几个地名误识别的例子，需要指出的是，后边的机构名识别也以地名识别为基础，因此，如果地名识别不准确，也会导致机构名识别不准确。
类型1 数字+地名
[1] 暗访哈尔滨网约车：下10单来7辆“黑车” 1辆套牌
[2] 房天下每日成交5月12日海宁商品房销售备案43套
<!--[if !supportLists]-->[3]
Python调用hanlp的方法此前有分享过，本篇文章分享自“逍遥自在017”的博客，个别处有修改，阅读时请注意！
1.首先安装jpype
首先各种坑，jdk和python 版本位数必须一致，我用的是JPype1-py3 版本号0.5.5.2 、1.6jdk和Python3.5，win7 64位下亲测没问题。否则死翘翘，有可能虚拟机都无法启动：
本文分享自 6丁一的猫 的博客，主要是python调用hanlp进行命名实体识别的方法介绍。以下为分享的全文。
1、python与jdk版本位数一致
2、pip install jpype1（python3.5）
3、类库hanlp.jar包、模型data包、配置文件hanlp.properties放在一个新建目录
4、修改
本篇分享一个hanlp添加自定义字典的方法，供大家参考！
总共分为两步：
第一步：将自定义的字典放到custom目录下，然后删除CustomDicionary.txt.bin，因为分词的时候会读这个文件。如果没有的话它会根据配置文件中路径去加载字典生成bin文件。
第二步：去配置文件把自己添加自
项目简要：关于java web的一个项目，用的Spring MVCd 框架。鉴于参与此次项目的人中并不是所人都做的Spring，为了能够提高效率，建议大家是先抛开SPring来写自己负责的模块，最后再把各个模块在Spring里面集成。
项目里有一个文本分析的模块是一个同学用hanlp写的，由于在最后集成的时候直接使用maven添加的依赖，但最终测试时无法通过。后经分析发现她坐了实体识别，是自己改了hanlp的词典，手动加了很多词，而且在后期版本的迭代中还有可能继续改了hanlp的词典，这就意味着不能用maven直接导入仓库里的包了，只有将修改后的data文件放到本地，然后指定路径给ha ...
java分词工具hanlp介绍
- 博客分类：
- 人工智能，机器学习
前几天（6月28日），在第23届中国国际软件博览会上，hanlp这款自然语言处理工具荣获了“2019年第二十三届中国国际软件博览会优秀产品”。
HanLP是由一系列模型预算法组成的工具包，结合深度神经网络的分布式自然语言处理，具有功能完善、性能高效、架构清晰、语料时新、可自定义等特点，提供词法分析、句法分析、文本分析和情感分析等功能，是GitHub最受欢迎、用户量最大（超过13000个star）、社区活跃度最高的自然语言处理技术。
HanLP完全开源，包括词典。不依赖其他jar，底层采用了一系列高速的数据结构，如双数组Trie树、DAWG、AhoCorasickDoubleAr ...
基于hanlp的es分词插件
- 博客分类：
- 人工智能，机器学习
摘要：elasticsearch是使用比较广泛的分布式搜索引擎，es提供了一个的单字分词工具，还有一个分词插件ik使用比较广泛，hanlp是一个自然语言处理包，能更好的根据上下文的语义，人名，地名，组织机构名等来切分词
Elasticsearch
默认分词
输出：
繁简转换
HanLP几乎实现了所有我们需要的繁简转换方式，并且已经封装到了HanLP中，使得我们可以轻松的使用，而分词器中已经默认支持多种繁简格式或者混合。这里我们不再做过多描述。
·说明
· HanLP能够识别简繁分歧词，比如打印机=印表機。许多简繁转换工具不能区分“以后”“huang hou”中的两个“后”字，HanLP可以。
·算法详解