提示:
信息检索:文档评分-词项权重计算-向量空间模型
第四部分:向量空间模型
文章目录
向量空间模型关联矩阵文档表示成向量Queries表示成向量向量相似度计算欧式距离?利用夹角代替距离文档长度归一化余弦相似度(query,document)※余弦相似度计算举例向量空间模型
关联矩阵
二值关联矩阵:词项-文档
词频矩阵:词频-文档
权重是前面的tf-idf权重:
文档表示成向量
|V|维向量空间,每一维都对应词项,文档是空间的点或向量。
维度相当大,对于互联网来说,甚至达到千万维或更高。
向量空间非常稀疏,几乎都是0.
Queries表示成向量
■关键思路1:对于查询做同样的处理,即将查询表示成同一高维空间的向量
■关键思路2:在向量空间内根据queries与文档向量间的距离来排序
向量相似度计算
欧式距离?
计算两个向量终点之间的距离:
不能采用欧氏距离,从上图分析,欧氏空间对距离十分敏感,q与d2欧氏距离很远,但它们实际分布很接近。
利用夹角代替距离
文档长度归一化
就是把文档向量,变成单位向量呗,长度就不会影响相关性比较了,上面的文档d和d‘就相等了。同一个向量表示就可以了
L2范数:
向量除以L2范数就是长度归一化。
文档长度差异就不会影响到相关性的比较了。
余弦相似度(query,document)
观点等价于夹角递减排序
[0,180]区间内,cosine是单调递减函数。
cos(q,d) q,d的余弦相关性等价于q,d夹角余弦值。
长度归一化后:
※余弦相似度计算举例
词项频率tf—>词项频率tf取对数—>长度归一化—>计算
文档-词项频率tf关联表如下:文档(sas,pap,wh)
把query表加入上述表之中,分别计算query和其他文档的cosine值,那么就能得出,其他文档与query的相关度