`
soul_fly
  • 浏览: 39502 次
  • 性别: Icon_minigender_1
  • 来自: 武汉
社区版块
存档分类
最新评论

词语切分与词性标注 - 规范与加工手册

阅读更多

现代汉语语料库词语切分和词性标注规范在现代分词系统被广泛使用,中科院的分词系统中的词性标注也差不多采用这个标记集合。Yard中文分词系统在后面的版本中也将采用这个标记集合。

 

按代码的字母顺序排列的标记集

    

代码    名称        帮助记忆的诠释

    Ag      形语素      形容词性语素。形容词代码为a,语素代码g前面置以A。

    a       形容词      取英语形容词adjective的第1个字母。

    ad      副形词      直接作状语的形容词。形容词代码a和副词代码d并在一起。

    an      名形词      具有名词功能的形容词。形容词代码a和名词代码n并在一起。 

    b       区别词      取汉字“别”的声母。

    c       连词        取英语连词conjunction的第1个字母。

    Dg      副语素      副词性语素。副词代码为d,语素代码g前面置以D。

    d       副词        取adverb的第2个字母,因其第1个字母已用于形容词。

    e       叹词        取英语叹词exclamation的第1个字母。

    f       方位词      取汉字“方” 的声母。

    g       语素        绝大多数语素都能作为合成词的“词根”,取汉字“根”的声母。

    h       前接成分    取英语head的第1个字母。

    i       成语        取英语成语idiom的第1个字母。

    j       简称略语    取汉字“简”的声母。

    k       后接成分

    l       习用语      习用语尚未成为成语,有点“临时性”,取“临”的声母。

    m       数词        取英语numeral的第3个字母,n,u已有他用。

    Ng      名语素      名词性语素。名词代码为n,语素代码g前面置以N。

    n       名词        取英语名词noun的第1个字母。 

    nr      人名        名词代码n和“人(ren)”的声母并在一起。

    ns      地名        名词代码n和处所词代码s并在一起。

    nt      机构团体    “团”的声母为t,名词代码n和t并在一起。

    nz      其他专名    “专”的声母的第1个字母为z,名词代码n和z并在一起。  

    o       拟声词      取英语拟声词onomatopoeia的第1个字母。

    p       介词        取英语介词prepositional的第1个字母。

    q       量词        取英语quantity的第1个字母。

    r       代词        取英语代词pronoun的第2个字母,因p已用于介词。

    s       处所词      取英语space的第1个字母。

    Tg      时语素      时间词性语素。时间词代码为t,在语素的代码g前面置以T。

    t       时间词      取英语time的第1个字母。

    u       助词        取英语助词auxiliary 的第2个字母,因a已用于形容词。

    Vg      动语素      动词性语素。动词代码为v。在语素的代码g前面置以V。

    v       动词        取英语动词verb的第一个字母。

    vd      副动词      直接作状语的动词。动词和副词的代码并在一起。

    vn      名动词      指具有名词功能的动词。动词和名词的代码并在一起。

    w       标点符号    

    x       非语素字    非语素字只是一个符号,字母x通常用于代表未知数、符号。

    y       语气词      取汉字“语”的声母。

    z       状态词      取汉字“状”的声母的前一个字母。

 

 

按名称的汉语拼音顺序排列的标记集

            

名称      代码    拼音

            标点符号  w       biao1dian3fu2hao4

            成语      i       cheng2yu3

            处所词    s       chu4suo3ci2

            代词      r       dai4ci2

            地名      ns      di4ming2

            动词      v       dong4ci2

            动语素    Vg      dong4yu3su4

            方位词    f       fang1wei4ci2

            非语素字  x       fei1yu3su4zi4

            副词      d       fu4ci2

            副动词    vd      fu4dong4ci2

            副形词    ad      fu4xing2ci2

            副语素    Dg      fu4yu3su4

            后接成分  k       hou4jie1cheng2fen4

            机构团体  nt      ji1gou4tuan2ti3

            简称略语  j       jian3cheng1lve4yu3

            介词      p       jie4ci2

            连词      c       lian2ci2

            量词      q       liang4ci2

            名词      n       ming2ci2

            名动词    vn      ming2dong4ci2

            名形词    an      ming2xing2ci2

            名语素    Ng      ming2yu3su4

            拟声词    o       ni2sheng1ci2

            其他专名  nz      qi2ta1zhuan1ming2

            前接成分  h       qian2jie1cheng2fen4

            区别词    b       qu1bie2ci2

            人名      nr      ren2ming2

            时间词    t       shi2jian1ci2

            时语素    Tg      shi2yu3su4

            数词      m       shu4ci2

            叹词      e       tan4ci2

            习用语    l       xi1yong4yu3

            形容词    a       xing2rong2ci2

            形语素    Ag      xing2yu3su4

            语气词    y       yu3qi4ci2

            语素      g       yu3su4

            助词      u       zhu4ci2

            状态词    z       zhuang4tai4ci2

  

分享到:
评论

相关推荐

    分词和词性标注工具

    分词和词性标注是自然语言处理(NLP)领域中的基础任务,它们在文本分析、信息检索、机器翻译、情感分析等应用中扮演着重要角色。本文将深入探讨这两个概念,以及相关的工具和方法。 分词,也称为词汇切分,是将...

    现代汉语语料库加工规范(pku)

    至1998年10月,《现代汉语文本切分与词性标注规范V2.0》(征求意见稿)发布,随后更名为《现代汉语语料库加工规范》,旨在更好地支持大规模语料加工这一重要语言工程项目。 #### 二、词语切分与词性标注的基本规范...

    中文分词与词性标注

    标题“中文分词与词性标注”涉及到的核心知识点包括: 1. **中文分词**:中文不同于英文,词与词之间没有明显的边界,因此分词是理解和处理中文文本的前提。常见的分词方法有最大匹配法、最少切分法、正向最大匹配...

    中文分词的切分词典(词性标注,数据库为基础的文本分类检索过滤

    利用这个切分词典和词性标注,可以更好地理解文本内容,从而提高分类的准确性和效率。在构建文本分类模型时,预处理步骤包括分词和词性标注,这些都依赖于词典资源。 文本检索涉及快速查找文档库中与查询相关的文档...

    北大中文《人民日报》199801-199806数据集.rar

    PFR人民日报标注语料库(版本1.0,下面简称PFR语料库)是在得到人民日报社新闻信息...PFR语料库的制作规范参阅《现代汉语语料库加工――词语切分与词性标注规范》。如果您在研究或论文工作中使用PFR语料库,请注明来源

    词性标注说明_128601491.pdf

    《人民日报》标注语料库(PFR)是指对《人民日报》1998年上半年的纯文本语料进行词语切分和词性标注后形成的数据集。该语料库按照《人民日报》的日期、版序、文章顺序编排,确保了数据的系统性和连续性。 ##### 1. ...

    BOTSALLY® 赛莉®中文语料自动标注-实体识别标注_精细切分_样例

    BOTSALLY® 赛莉®中文语料自动标注 最近更新了一些重要功能:更新版的系统使用说明书,标注语料下载页面更新,XML文件转换功能,词性标注实体版,实体标注,还有事件标注。语料的下载仅用于科研实验,商业应用请...

    perl语言实现词语切分

    4. **词语切分**:遍历文本,对每个字符序列与词库进行匹配,找出最合适的切分方式。 5. **后处理**:处理未在词库中的新词或专有名词,可能采用基于统计的方法或规则。 6. **输出结果**:将切分后的词语列表输出,...

    汉语语料库加工规范

    《现代汉语语料库加工规范——词语切分与词性标注》是汉语处理领域的重要指导文档,它规定了如何对汉语文本进行标准化处理,以便于计算机理解和分析。在这个规范中,词语被分为不同的类别,并用特定的代码进行标记,...

    论文研究-藏语语料库加工方法研究.pdf

    为了使藏语语料库具有规范性、统一性和实用性,提高加工的整体水平,在藏语语料库的加工过程中首先要对五花八门的藏语语料库进行整理和统一,得到高质量的原始语料库,其次确定藏语原料库加工的切分单位,针对藏语的...

    基于机器学习的古代汉语切分标注算法

    5. **应用与改进**:将训练好的模型应用于实际的古代汉语文本切分标注,同时不断迭代和优化模型,提升其在新数据上的泛化能力。 在这个压缩包中,"tagging"可能是训练和测试数据的标记文件,用于标注每个词的类别...

    Python-语义理解口语理解项目包含有词法分析中文分词词性标注命名实体识别

    这个名为"Python-语义理解口语理解项目"的压缩包文件显然是一个专注于NLP中几个关键任务的实践项目,具体包括词法分析、中文分词、词性标注、命名实体识别、领域分类、槽填充和意图识别。 1. **词法分析**:这是NLP...

    icwb2-data.zip

    这个数据集是自然语言处理(NLP)领域中,特别是中文词汇切分与词性标注任务的重要资源,对理解和改进中文信息处理技术有着深远的影响。 NLP,即自然语言处理,是计算机科学的一个分支,旨在理解和生成人类自然语言...

    切分标注标签展示样例1_.xml.zip

    很多朋友需要标准语料来训练深度模型,语料到模型的过程中涉及很多方面的因素,需要综合考量。我们做了标准语料 切分和标签展示 无版权 不做商业用途。

    基于隐马尔科夫模型的中文分词研究_魏晓宁1

    【中文分词】中文分词是中文信息处理的关键步骤,涉及到词语切分、未定义词识别和词性标注等核心问题。与英文等其他语言不同,中文文本没有明显的词间分隔,使得分词尤为复杂。传统的分词方法包括基于字符串匹配、...

    5G系统RAN架构解析之CU和DU的应用和功能切分方式

    然而,具体的功能分配和实施方案仍需依据3GPP规范进行,随着标准的完善,这些细节将在未来的版本中逐步明确。 综上所述,5G RAN的CU和DU架构是为了解决5G时代高速率、大连接、低延迟等挑战,通过功能分离实现网络的...

    汉语分词标准汇总

    文章目录《PFR人民日报标注语料库》词性编码表《现代汉语语料库加工规范——词语切分与词性标注》词性标记计算所 ICTCLAS 3.0汉语词性标记集形容词(1个一类,4个二类)区别词(1个一类,2个二类)连词(1个一类,1个二类...

    实验1文本切分.zip

    - 这个过程旨在为后续的文本分析步骤提供结构化的输入,比如词性标注、命名实体识别、情感分析等。 2. **中文文本切分的挑战**: - 相比于英文,中文文本没有明显的边界符号(如空格),这使得切分更具挑战性。 ...

    赛莉®中文语料自动标注_精细切分标注标签展示样例1_新闻

    BOTSALLY® 赛莉®中文语料自动标注 精细切分标注标签展示样例1_新闻。在多个标注员协作标注同一个标注任务的需求下,标注的一致性仍然有保证的。可以降低标注员的学习门槛。快速扩充标注团队。测试阶段,每个管理...

Global site tag (gtag.js) - Google Analytics