分词问题导致的搜索结果不准确的解决方案-sphinx

基于网站搜索关键词“人民法院主管”的结果比“法院主管”结果多的问题,今天上午我详细阅读了网上的中英文文档。

发现最可能的原因,是分词库的问题。

举个例子,对于猕猴桃一词,如果词库中有猕猴、桃、猕猴桃三个词,那么索引的时候会索引成“猕猴桃”,换句话说,搜索“猕猴”、“桃”都不会找到“猕猴桃”这个词,只有搜索“猕猴桃”才能找到。

sphinx的逻辑是,“猕猴”、“桃”和“猕猴桃”指代的事物是不一样的。

然而,问题在于,中文是存在根词的。比如说“猕猴桃”,这个词确实和“猕猴”、“桃”不是一个事物,但是,“猕猴桃”也是“桃”。搜索“猕猴”的时候找不到“猕猴桃”是正确的,但是搜索“桃”,应该找到“猕猴桃”。

因为,“猕猴桃”这个词的根词,是“桃”。

推演到网站的bug:

由于我们的分词库中包括“人民”、“法院”、“人民法院”这三个词,所以搜索“法院主管”的时候,是找不到包含“人民法院主管”的词汇的,因为搜索“法院”一词,找不到“人民法院”。

解决方案:在分词库中删掉“人民法院”这种合成词。

测试:

 1 [[email protected] bin]# cat test.txt
 2 本案纠纷是否属于人民法院主管
 3  
 4 用现有词典进行分词,结果如下:
 5 /usr/local/mmseg3/bin/mmseg  -d /usr/local/mmseg3/etc/ /usr/local/mmseg3/bin/test.txt
 6 本案/x 纠纷/x 是否/x 属于/x 人民法院/x 主管/x
 7  
 8 查看词典内容,发现有词条为:人民法院
 9 vi /usr/local/mmseg3/etc/unigram.txt
10 人民法院        1
11 x:1
12  
13 所以,对于该搜索,搜索“人民法院主管”时会显示,但是,搜索“法院主管”时,因为没有“法院”和“主管”词条,
14 所以,没有搜索结果。
15  
16 解决方法:
17 删除“人民法院”词条,重建分词词典,测试结果如下:
18 [[email protected] etc]# /usr/local/mmseg3/bin/mmseg -u unigram.txt
19 [[email protected] etc]# ls
20 mmseg.ini  unigram.txt  unigram.txt.uni  uni.lib  uni.lib.20151130
21 [[email protected] etc]# mv unigram.txt.uni  uni.lib
22 mv: overwrite `uni.lib'? y
23 [[email protected] etc]# chmod 666 uni.lib
24 [[email protected] etc]# ll
25 total 9076
26 -rwxr-xr-x 1 root root     229 Nov 11 15:26 mmseg.ini
27 -rwxr-xr-x 1 root root 1826230 Nov 30 14:59 unigram.txt
28 -rw-rw-rw- 1 root root 3729224 Nov 30 15:00 uni.lib
29 -rwxr-xr-x 1 root root 3729280 Nov 11 15:26 uni.lib.20151130
30 [[email protected] etc]# 
31 [[email protected] etc]# /usr/local/mmseg3/bin/mmseg  -d /usr/local/mmseg3/etc/ /usr/local/mmseg3/bin/test.txt
32 本案/x 纠纷/x 是否/x 属于/x 人民/x 法院/x 主管/x
33  
34  
35 该测试,将“人民”,“法院”,“主管”分成了三个词,这样,搜索“人民法院主管”和“法院主管”均可命中。

总结:

对于该类问题,统一解决方法为,检查unigram.txt词典,将长关键词尽量缩短为短关键词,

但是,不能极端地将所有关键词缩短为1个字,否则词典索引会变大,损耗系统内存。

参考资料:

1、http://blog.atime.me/note/mmseg-custom-dict.html#2ea33d

2、http://www.coreseek.cn/opensource/mmseg/

3、http://www.coreseek.cn/products-install/ngram_len_cjk/

4、http://blog.csdn.net/websites/article/details/36626573

更多相关文章
  • 冬冬说她的VS2005又坏掉了,表现症状为调试的时候报错,并且自动退出VS2005.这多少会让人感到郁闷,已经记不清这是第几次遇到同样的问题了.我给她们室长也是做的同样的系统,安装同一个版本的VS2005,但是她们室长的就没有出现过这样的问题,而且冬冬的同学也没有人遇到同样的问题,我很郁闷.想我堂堂 ...
  • Android关于疑难bug处理方法之一(搜索不到相同bug解决方案)
    如果你的bug,在stackoverflow里,在google里都搜索不到.那很可能是你自己调用方式不正确.提供下我使用DialogFragment遇到的此类问题,log如下:    如果一直在搜索:java.lang.NullPointerExceptionandroid.support.v4.a ...
  • Exchange搜索和颗粒级还原解决方案
    Recovery Manager for ExchangeQuest Recovery Manager for Exchange(以下简称RME)提供从Exchange备份中搜索和恢复邮件的能力,以满足如下常规性需求:·搜索:人力资源或其他调查需要查找邮件,诉讼中提供邮件证据,响应监管调查(SEC, ...
  • 接上篇文章,最近做视频背景的游戏.需要使用安卓的meidaplayer来播放视频,并跳转.跳转时发现,有些视频可以跳到位置上,有些不行.GG了好久,可以使用FFMPEG这个工具重新转一次.并加上关键帧即可.果然能SeekTo到正确的位置上了.以下是bat命令:ffmpeg -i  -x264opts ...
  • Sphinx中文分词在discuz 中的应用.Sphinx-for-chinese是一款专注于中文搜索的全文检索软件,在sphinx的基础上添加了中文处理模块并优化了中文搜索效果.相比而言,以某某论坛几千万数据环境来看,比Coreseek封装的sphinx中文分词+mmseg3组合要好一点1.准备环 ...
  • Magento搜索产品结果不精准的问题
    Magento的搜索产品默认结果集是按查询的词去分词了再OR查询(具体按Catalog Search设置的查询模式).比如搜索"magento 产品"这词的话,结果是可能包括"magento"或者包括"产品"的结果集.如果想要查询的结果是精 ...
  • 由于DedeCMS搜索采用了分词,提升了搜索智能化,但是我们发现,搜索结果并没有变的更准确,本篇对DedeCMS的搜索进行一个优化,使它的搜索结果变的更智能.准确.首先需要调整搜索页面的一个栏目关键词替换,找到/plus/search.php将其中58行代码:<pre class=" ...
  • 一.分词软件简介 分词算法在20世纪80年代就有研究,不过基于当时的技术条件所限,大多数就是原始的机械分词算法.比如,最大匹配算法,mmseg等.关于原始的机械分词算法 http://www.cnblogs.com/alic/articles/1215001.html 这篇blog有很详细的介绍. ...
一周排行
  • Eclipse调试常用技巧
    1. 条件断点 断点大家都比较熟悉,在Eclipse Java 编辑区的行头双击就会得到一 ...
  • 进入到Windows系统中,执行脚本并创建RRAS: 配置RRAS :启用RRAS 服务关闭防火墙查看通信转态,可以看到VPN 已经打通:从本地内外pin 云端的内外服务器:至此本地到云端的Site to Site ...
  • 创新的基于多核处理器和新一代ASIC处理器的高性能纯硬件安全网关 创新的网络安全架构 Hillstone SA‐5050采用了多核处理器技术,内部采用了高达24Gbps的交换总线,使得Hillstone SA‐505 ...
  • 1.安装apacheyum -y install httpd httpd-devel service httpd start chkconfig httpd on2.安装mysqlyum install -y mys ...
  • 掉坑里了,遭遇到了js与PHP对表单中中文编码.解码方法不统一的问题.当年上学的时候,对ms很是不屑,总是想玩一些与众不同的东西,玩linux.freebsd,玩opera,玩C++builder.当我做了一个网络开 ...
  • 正确代码: 1 #include<iostream> 2 #include<queue> 3 #define N 210 4 #define inf 0xffffff 5 using name ...
  • 判断文件夹(folder)是否存在(exit)本文地址: http://blog.csdn.net/caroline_wendy/article/details/21734915写入程序, 需要在文件夹中写入数据, ...
  •         今日无聊中,突然想到了我们学校的园区网络.虽然学校的网络早以铺设完毕,可想了想如果当时是我设计,我规划会是什么样呢?于是按着平时的使用与了解大概的设想了一下学校当时的需求与设计原则.大概规划了一下.  ...
  • 计算机硬件发展及前沿现在,我们每天都离不开计算机,它让世界变成“地球村”,它缩短了人与人之间的距离,它带给我们大量有用信息,使人们能坐在家里足不出户,就能知道世界上任何地方发生的所有的事.它极大的提高人们的生活质量, ...
  • 在活动目录中比较重要的一个服务-"Netlogon",此服务在DC和域成员服务器上运行,为域身份验证提供重要服务,如果此服务停止成员服务器将无法登陆到域中,下面是关于Netlogon服务的五点介绍 ...