分享文章中关键词的提取与拓展方法
发布时间:2021-05-13 | 发布者： 东东工作室 | 浏览次数： 次在自然语言处理领域，处理海量文本文件的关键是提取用户关心的问题。无论是长文本还是短文本，我们都可以通过几个关键词来窥视整个文本的主题。同时，无论是基于文本的推荐还是基于文本的搜索，对文本关键字的依赖性也很大。关键词提取的准确性直接关系到推荐系统或搜索系统的终效果。
因此，关键字提取是文本挖掘领域的一个重要组成部分。从文本中提取关键词有三种方法：监督、半监督和无监督。监督关键字提取算法是将关键字提取算法构造为两类问题来判断文档中的词或短语是否为关键字。由于这是一个分类问题，因此有必要提供标记的训练预测。训练语料库用于训练关键词提取模型。根据该模型，对需要提取关键字的文档的关键字提取算法进行了半监督。
构造关键词提取模型只需要少量的训练数据，然后利用模型对新文本进行检查。关键字提取，手动筛选这些关键字，并将筛选后的关键字添加到培训集以重新培训模型。无监督的方法不需要手动标记语料库。一些方法被用来寻找文本中更重要的词作为关键字并提取关键字。监督文本关键字提取算法要求人工成本高，现有的文本关键字提取主要采用无监督关键字提取，适用性强。
文本关键字提取的过程如下：无监督文本关键字提取流程图无监督关键字提取算法可分为三类：基于统计特征的关键字提取、基于词图模型的关键字提取和基于主题模型的关键字提取。基于统计特征的文本关键字提取算法基于统计特征的关键字提取算法基于统计特征的关键字提取算法是利用文档中的统计信息提取关键字。
一般情况下，文本经过预处理得到候选词集，然后通过特征值量化从候选词集中获得关键词。基于统计特征的关键词提取方法的关键是采用何种特征值量化指标。
目前常用的方法有三种：1、基于词权的特征量化主要包括部分语音、词频、反向文档频率、相对词频、词长等。2、基于词位的特征量化方法是基于不同位置的句子对文献的重要性不同的假设。通常，文章的前N个词、后N个词、开头、结尾、标题和引言都是有代表性的词。这些词可以把整个主题表达为关键词。3、基于词关联信息的特征量词的关联信息是指词与词、词与文献的关联程度，包括互信息、命中值、贡献度、依赖度、tf-idf值等，这里有一些常用的特征值量化指标。部分语音分词和语法分析的结果。现有的关键词大多是名词或动名词。
一般来说，名词比言语的其他部分更能表达文章的主旨。然而，作为特征量化的指标，部分语音通常与其他指标结合使用。单词频率表示单词在文本中出现的频率。一般来说，我们认为一个词在文本中出现的频率越高，它就越有可能成为文章的核心词。单词频率只是计算文本中出现的单词数。然而，仅依靠词频获得的关键词具有很大的不确定性。对于长文本，此方法将产生大量噪声。
一般来说，词的位置对词有很大的价值。例如，标题和摘要本身是作者总结的文章的主要思想，因此出现在这些地方的词具有代表性，更容易成为关键词。然而，由于每个作者都有不同的习惯、写作方法和关键句子的位置，这也是一种非常广泛的获得关键词的方法，通常不单独使用。互信息和互信息是信息论中的一个概念，是衡量变量相互依赖性的一个指标。相互信息不限于实值随机变量。
转载请标注：东东工作室——分享文章中关键词的提取与拓展方法