`
wx1569632409
  • 浏览: 110662 次
文章分类
社区版块
存档分类
最新评论

用深度学习做命名实体识别(一):什么是命名实体识别?

阅读更多

上一个深度学习系列介绍了如何检测出图片或视频中的物体,本深度学习系列将介绍如何从文章中提取出我们关注的实体,比如提取文章中出现的人名、地址、产品、时间等实体。本文做为该系列的第一篇文章,会先呈现一下命名实体识别的效果,然后给大家介绍几个概念。

识别效果

 

 

 

 

 

如上图所示,请求体中是要提取实体的句子,也可以是短文,接口返回的就是句子中识别出来的各种实体。

要实现以上的效果,还得先从了解以下内容开始。

 

什么是命名实体识别?

从一句话中识别出人名,地名,组织名,日期时间,这就是命名实体识别的一个例子,而人名,地名等这些被识别的目标就是命名实体。当然命名实体还可以是很多其它有意义的目标,比如产品,公司,专有名词等等。

 

什么是文本数据标注?

了解过机器学习的朋友都知道,无论是传统的机器学习还是深度学习,大多数情况都是在做监督学习,也就是需要大量标注好的数据做为训练样本,那么这里,如果希望机器能识别出人名,地名,就必须事先给机器看看在一句话中,什么是人名,什么是地名,当然只看一句话是远远不够的,一般来说,至少也要上千句话才可以。这些句子都是需要人工来标注的,而标注出这些句子中的命名实体的过程,称为"文本数据标注"。

 

怎么做文本数据标注?

数据标注,最粗暴的方式,就是直接在word、txt等文档里标注,比如像下面这样:

此次{{location:中国}}个展,{{person_name:苏珊}}将与她80多岁高龄的父亲一起合作,哼唱一首古老的{{location:威尔士}}民歌{{product_name:《白蜡林》}}。届时在{{location:画廊大厅}}中将安放6个音箱进行播放,艺术家还特意回到家乡{{location:格拉斯哥}},同父亲一起在{{org_name:中国音乐学院}}里为作品录制了具有{{location:中国}}元素的音乐片段。

但是这样做有以下弊端:

  • 白底黑字,密密麻麻,很快就会看花眼了,很容易标注错误,比如少个符号什么的;

  • 无法多人协同标注。

因此,已经有很多大牛们研发了许多协助标注文本的工具,其中一个笔者觉得比较好用的工具——brat,将在下一篇文章《用深度学习做命名实体识别(二):文本标注工具brat》中介绍。

 

ok,本篇就这么多内容啦~,感谢阅读O(∩_∩)O,88~

分享到:
评论

相关推荐

    Python系列:NLP系列二:命名实体识别(NER)、用深度学习实现命名实体识别(NER)

    总结,Python结合深度学习在NLP中的命名实体识别是一个复杂而关键的任务,涉及到多个技术环节。理解并掌握这些技术,对于提升文本处理能力,尤其是信息提取的精度,具有极大的价值。通过实际项目“DL_4_NER-master”...

    基于深度学习的命名实体识别算法.pdf

    深度学习在命名实体识别中的应用 命名实体识别(Named Entity Recognition, NER)是自然语言处理中的一种基础技术,旨在从自由文本中识别出属于预定义类别的文本片段,如人名、地理位置名、机构组织名等。NER一直是...

    基于深度学习的命名实体识别.zip

    【标题】"基于深度学习的命名实体识别"指的是在自然语言处理领域中,利用深度学习技术来识别文本中具有特定意义的实体,如人名、地名、组织机构名等。这种技术对于信息提取、问答系统、机器翻译等应用至关重要。 ...

    基于深度学习的古汉语命名实体识别研究.pdf

    基于深度学习的古汉语命名实体识别研究是自然语言处理领域的一个重要方向。命名实体识别是自然语言处理的基础任务之一,它的目的是识别文本中的命名实体,如人名、地名、组织名等。目前,中文命名实体识别研究大多是...

    基于深度学习医疗文本命名实体识别研究.pdf

    从技术角度讲,深度学习技术在医疗文本命名实体识别中涉及到的关键技术包括分布式表示和上下文编码器的使用。分布式表示,例如word embedding,是将单词用低维实值密集向量表示,能够捕获单词的语义和句法属性。而上...

    基于深度主动学习的信息安全领域命名实体识别研究.pdf

    2. 深度学习(Deep Learning):深度学习是机器学习的一个分支,旨在使用神经网络模型来解决复杂的问题。 3. 主动学习(Active Learning):主动学习是一种机器学习算法,旨在选择最有价值的样本来标注,以提高模型...

    基于深度学习的命名实体识别研究综述.pdf

    通过梳理和对比基于卷积神经网络、循环神经网络、Transformer模型以及其他方法,本综述为读者展现了一个关于深度学习在命名实体识别中应用的广阔视野,并对未来的研究方向进行了展望,以期推动命名实体识别技术的...

    基于深度学习的医疗命名实体识别.pdf

    而基于统计的方法则将命名实体识别看作一个分类问题或序列标注问题,利用统计模型和机器学习算法进行训练和预测。这些方法包括支持向量机(SVM)、隐马尔可夫模型、最大熵马尔可夫模型等。 深度学习作为统计方法的...

    基于深度学习的维吾尔语命名实体识别模型.pdf

    本文提出了一种基于深度学习的维吾尔语命名实体识别模型,以期解决这一难题。 首先,文章针对维吾尔语命名实体识别中存在的问题,提出了一种基于深度神经网络的命名实体识别方法。该方法采用BiLSTM-CNN(双向长短时...

    基于深度学习的电子病历命名实体识别及其在知识发现中的应用.pdf

    基于深度学习的电子病历命名实体识别是指使用深度学习技术对电子病历中的实体进行识别和提取,包括身体部位、症状和体征、疾病和诊断、检查和检验以及治疗等五大类。该技术可以对电子病历进行自动化处理,提高医疗...

    深度学习命名实体识别【TKDE2020-南洋理工】.pdf

    深度学习命名实体识别(NER)是自然语言处理(NLP)领域的一个重要任务,它旨在从文本中识别出提及的命名实体,并将这些实体分类为预定义的类别,如人名、地名、机构名等。这项技术对于问答系统、文本摘要、机器翻译...

    命名实体识别(Standford)

    ### 命名实体识别(Standford) #### 知识点概述 命名实体识别(Named Entity Recognition,简称NER)是自然...随着深度学习技术的发展,命名实体识别的准确性得到了显著提升,未来在各个领域的应用前景非常广阔。

    基于深度学习的法院命名实体识别模型.pdf

    【基于深度学习的法院命名实体识别模型】 命名实体识别(Named Entity Recognition, NER)是自然语言处理(Natural Language Processing, NLP)领域的一个关键任务,它的目标是识别文本中的特定实体,如人名、组织...

    python命名实体识别demo

    "python命名实体识别demo"是一个使用Python实现的NER演示项目,它提供了一个实际应用的示例,帮助开发者理解和学习如何在Python环境中进行NER工作。 这个项目可能基于Python的几个关键库,如spaCy、NLTK、Stanford...

    人工智能-项目实践-命名实体识别-基于tensorflow深度学习的中文的命名实体识别

    人工智能-项目实践-命名实体识别-一个中文的实体命名识别系统 当前版本基于双向循环神经网络(BiRNN) + 条件随机场(CRF)来完成实体的标注。 基本思路是利用深度神经网络提取特征,从而避免了手动提取特征的麻烦...

    基于tensorflow深度学习的中文命名实体识别

    该文档是基于tensorflow深度学习的中文命名实体识别,经过测试,可以使用,且效果很好。当前版本基于双向循环神经网络(BiRNN) + 条件随机场(CRF)来完成实体的标注。 基本思路是利用深度神经网络提取特征,从而...

    中文命名实体识别语料(MSRA+人民日报+Boson)

    命名实体识别(Named Entity Recognition, NER)是自然语言处理(Natural Language Processing, NLP)领域的一个关键任务,它的目标是从文本中识别出具有特定意义的实体,如人名、地名、机构名等。本资源集合了三个...

    基于深度学习的网购评论命名实体识别方法.pdf

    二是使用深度学习模型来学习命名实体识别模型,例如MA-BiLSTM-CRF(Multi-Head Attention mechanism and Bidirectional Long Short-Term Memory Conditional Random Field)模型。 MA-BiLSTM-CRF模型是指一种基于...

Global site tag (gtag.js) - Google Analytics