python实现文本检索-文本相似度算法

目的

给定一个或多个搜索词，如“高血压 患者”，从已有的若干篇文本中找出最相关的(n篇)文本。

理论知识

文本检索（text retrieve）的常用策略是：用一个ranking function根据搜索词对所有文本进行排序，选取前n个，就像百度搜索一样。

算法：模型选择

1、基于word2vec的词语相似度计算模型2、python的实现用到了gensim库3、“jieba”中文分词

分步实现：

jieba.cut

方法接受三个输入参数: 需要分词的字符串；cut_all 参数用来控制是否采用全模式；HMM 参数用来控制是否使用

HMM 模型构建停用词表

[Python]纯文本查看复制代码 ?结巴分词后的停用词性 [标点符号、连词、助词、副词、介词、时语素、‘的’、数词、方位词、代词][Python]纯文本查看复制代码 ?对一篇文章分词、去停用词[Python]纯文本查看复制代码 ?对目录下的所有文本进行预处理，构建字典[Python]纯文本查看复制代码 ? [Python]纯文本查看复制代码 ?

# 输出分值结果示例：

[Python]纯文本查看复制代码 ?

​

[Python]纯文本查看复制代码 ?