`
zhao_rock
  • 浏览: 191814 次
  • 性别: Icon_minigender_1
  • 来自: 大连
社区版块
存档分类
最新评论

基于自然语言关键词的打分器

阅读更多

最近在做自然语言处理,当句子中有多个关键字时,就无法简单的通过关键字进行分类,需要筛选出句子的核心关键字,基于这个思想,自己开发了一个打分器,得分多高的关键词,即为该句的核心关键词

 

该打分器主要是为自然句子中的关键字进行打分,通过分数的高低选举出关键字的重要度

下面通过简单的例子说明,如句子: 电脑异响,怀疑是硬盘有问题,查为风扇的故障,更换风扇后正常.

其中筛选出和电脑相关的词汇设置为关键字:硬盘,风扇 再筛选出来加分词:故障 减分词:正常

然后通过公式score = d/(distance+1) * weight 其中d为调节因子,distance为关键字到加(减)分词的距离,weight代表加(减)分词的权重 经计算该句子关键词的得分分别为:风扇3.5 硬盘1.0 因此我们得知,该句子核心是:风扇的故障

 

应用场景:对汽车,电脑。。。之类的生产制造售后维修文本信息进行归类,丰富知识库,通过大数据分析还可挖掘出各部件的问题及易坏程度等等

 

其中有几个需要INPUT的词库:

关键词词库,存放组成该物体的零部件词汇,以电脑为例,关键词词库应有:cpu 硬盘 显示器 风扇 ...

加分词库,可以描述该部件非正常的词汇如,异响,有问题,不亮,反应慢 ...

减分词库,描述该部件正常的词汇,正常,无异常,无问题 ...

 

打分器源码: https://github.com/rockZjy/KeywordScore

最近才开始用githup,不足之处请指导

0
0
分享到:
评论

相关推荐

    python基于自然语言处理技术的话题文本分类的研究源码

    结合了python技术来搭建一款基于自然语言的话题分类网站,在该网站中通过搜索相关的信息关键词就可以查找到具体的新闻内容,并且可以实现对新闻的评分和阅读等操作。此次设计是对文本话题分类的一次有效的尝试,对于...

    python基于自然语言处理技术的话题文本分类的研究.zip

    本次就是结合了python技术来搭建一款基于自然语言的话题分类网站,在该网站中通过搜索相关的信息关键词就可以查找到具体的新闻内容,并且可以实现对新闻的评分和阅读等操作。此次设计是对文本话题分类的一次有效的...

    PYTHON自然语言处理中文翻译 NLTK

    根据提供的标题、描述和部分内容,本文将围绕Python自然语言处理(NLP)中的中文翻译与NLTK库的应用展开讨论。文章将详细介绍NLTK的基本概念、如何使用NLTK进行中文文本处理以及涉及的一些关键技术点。 ### Python...

    基于机器语言的临床预测模型对高血压脑出血预后的预测.pdf

    使用机器语言的多项式函数建立了预测预后的数据模型GHRRSD,模型考虑了入院时的格拉斯哥昏迷评分、心率、呼吸频率、收缩压和舒张压等因素。结果表明,GHRRSD模型对患者的预后具有很好的预测性,能够很好地测算出患者...

    基于python+Django旅游城市关键词分析源码数据库.docx

    综上所述,基于Python和Django框架的旅游城市关键词分析项目,通过对旅游城市相关信息的搜集、处理与展示,为用户提供了一个高效便捷的信息查询平台。该项目不仅展示了Python在Web开发领域的强大能力,也为未来旅游...

    基于python的主观题自动阅卷系统.zip

    基于Python的主观题自动阅卷系统是一种利用人工智能和自然语言处理技术实现的自动化评分工具。该系统旨在减轻教师在批改大量主观题时的负担,提高评分效率和准确性。以下是关于这个系统的简要介绍:功能特点:自动...

    用Python进行自然语言处理

    自然语言处理(Natural Language Processing, NLP)是计算机科学领域的一个重要分支,它涉及人工智能、语言学和计算机科学,旨在让计算机理解、解释、生成人类自然语言。Python因其丰富的库和简洁的语法,成为了NLP...

    关键词密度分布法在偏重摘要中的应用研究

    - **句子评分模块**:根据关键词密度分布算法,为每个句子打分。 - **摘要生成模块**:综合评分结果,生成最终的偏重摘要。 ##### 3.2 实验设计 为了验证系统的有效性,本文设计了两组实验。第一组实验基于信息...

    网页正文关键词提取1.0代码

    网页正文关键词提取是自然语言处理(NLP)领域的一个重要任务,主要目的是从大量文本数据中识别出最具代表性和信息量的关键词汇,以便快速理解网页的主题内容或进行搜索引擎优化(SEO)。1.0版本的代码可能代表了这...

    易优聚合关键词插件(上权神器).zip

    1. 关键词智能聚合:插件能够自动抓取网站内容中的关键词,并进行智能聚合,形成具有高相关性的关键词集合,有助于提升网页的相关性评分。 2. 关键词优化:通过分析搜索引擎的算法,插件可以提供关键词密度建议,...

    NLP技术分享 自然语言处理技术 AI科技大本营公开课《启发式对话中的知识管理》 共33页.pdf

    自然语言处理(NLP)是人工智能的一个重要分支,主要研究如何让计算机理解和生成人类语言。在本篇关于“启发式对话中的知识管理”的分享中,我们深入探讨了对话系统架构、启发式对话系统以及知识在对话理解与管理中...

    改进版textrank关键词提取,自动摘要程序

    3. **句子评分**:基于关键词频率和句子包含的关键词数量,对每句话进行评分。 4. **句子排序与选择**:根据句子的评分和相邻句子的相似度,选取一定数量的高分句子组成摘要。 5. **后处理模块**:可能涉及摘要的...

    基于深度学习的中文抽取式摘要方法应用.pdf

    本文基于深度学习的中文抽取式摘要方法应用能够帮助读者高效、高质量地阅读、检索及管理文本,为人们阅读提供了便利,同时也能够应用于数据分析、数据研究、自然语言处理、信息检索、机器学习等领域,提高研究效率和...

    基于隐马尔可夫模型的英语口语考试智能评分系统.pdf

    【基于隐马尔可夫模型的英语口语考试智能评分系统】是利用先进的自然语言处理技术,特别是隐马尔可夫模型(HMM),来解决英语口语考试评分过程中的复杂性和准确性问题。传统的评分方法可能存在主观性和不稳定性,而...

    基于Java的源问答系统 OpenEphyra.zip

    OpenEphyra是一个开源的问答系统,主要基于Java语言开发,旨在实现自然语言处理和信息检索功能,以帮助用户从大量的文本数据中获取精确的答案。这个压缩包`openephyra-0.1.2`包含了该系统的源代码,使得开发者可以...

    ChatGPT模型的特征选择与关键词提取.docx

    关键词提取是自然语言处理中的一项重要任务,旨在从文本中识别出能够概括文本主要内容的核心词汇。对于聊天机器人而言,准确提取关键词有助于理解用户的意图,进而提供更加精准的回答。以下是几种常见的关键词提取...

Global site tag (gtag.js) - Google Analytics