分词问题导致的搜索结果不准确的解决方案-sphinx

基于网站搜索关键词“人民法院主管”的结果比“法院主管”结果多的问题,今天上午我详细阅读了网上的中英文文档。

发现最可能的原因,是分词库的问题。

举个例子,对于猕猴桃一词,如果词库中有猕猴、桃、猕猴桃三个词,那么索引的时候会索引成“猕猴桃”,换句话说,搜索“猕猴”、“桃”都不会找到“猕猴桃”这个词,只有搜索“猕猴桃”才能找到。

sphinx的逻辑是,“猕猴”、“桃”和“猕猴桃”指代的事物是不一样的。

然而,问题在于,中文是存在根词的。比如说“猕猴桃”,这个词确实和“猕猴”、“桃”不是一个事物,但是,“猕猴桃”也是“桃”。搜索“猕猴”的时候找不到“猕猴桃”是正确的,但是搜索“桃”,应该找到“猕猴桃”。

因为,“猕猴桃”这个词的根词,是“桃”。

推演到网站的bug:

由于我们的分词库中包括“人民”、“法院”、“人民法院”这三个词,所以搜索“法院主管”的时候,是找不到包含“人民法院主管”的词汇的,因为搜索“法院”一词,找不到“人民法院”。

解决方案:在分词库中删掉“人民法院”这种合成词。

测试:

 1 [root@master bin]# cat test.txt
 2 本案纠纷是否属于人民法院主管
 3  
 4 用现有词典进行分词,结果如下:
 5 /usr/local/mmseg3/bin/mmseg  -d /usr/local/mmseg3/etc/ /usr/local/mmseg3/bin/test.txt
 6 本案/x 纠纷/x 是否/x 属于/x 人民法院/x 主管/x
 7  
 8 查看词典内容,发现有词条为:人民法院
 9 vi /usr/local/mmseg3/etc/unigram.txt
10 人民法院        1
11 x:1
12  
13 所以,对于该搜索,搜索“人民法院主管”时会显示,但是,搜索“法院主管”时,因为没有“法院”和“主管”词条,
14 所以,没有搜索结果。
15  
16 解决方法:
17 删除“人民法院”词条,重建分词词典,测试结果如下:
18 [root@master etc]# /usr/local/mmseg3/bin/mmseg -u unigram.txt
19 [root@master etc]# ls
20 mmseg.ini  unigram.txt  unigram.txt.uni  uni.lib  uni.lib.20151130
21 [root@master etc]# mv unigram.txt.uni  uni.lib
22 mv: overwrite `uni.lib'? y
23 [root@master etc]# chmod 666 uni.lib
24 [root@master etc]# ll
25 total 9076
26 -rwxr-xr-x 1 root root     229 Nov 11 15:26 mmseg.ini
27 -rwxr-xr-x 1 root root 1826230 Nov 30 14:59 unigram.txt
28 -rw-rw-rw- 1 root root 3729224 Nov 30 15:00 uni.lib
29 -rwxr-xr-x 1 root root 3729280 Nov 11 15:26 uni.lib.20151130
30 [root@master etc]# 
31 [root@master etc]# /usr/local/mmseg3/bin/mmseg  -d /usr/local/mmseg3/etc/ /usr/local/mmseg3/bin/test.txt
32 本案/x 纠纷/x 是否/x 属于/x 人民/x 法院/x 主管/x
33  
34  
35 该测试,将“人民”,“法院”,“主管”分成了三个词,这样,搜索“人民法院主管”和“法院主管”均可命中。

总结:

对于该类问题,统一解决方法为,检查unigram.txt词典,将长关键词尽量缩短为短关键词,

但是,不能极端地将所有关键词缩短为1个字,否则词典索引会变大,损耗系统内存。

参考资料:

1、http://blog.atime.me/note/mmseg-custom-dict.html#2ea33d

2、http://www.coreseek.cn/opensource/mmseg/

3、http://www.coreseek.cn/products-install/ngram_len_cjk/

4、http://blog.csdn.net/websites/article/details/36626573

更多相关文章
  • 冬冬说她的VS2005又坏掉了,表现症状为调试的时候报错,并且自动退出VS2005.这多少会让人感到郁闷,已经记不清这是第几次遇到同样的问题了.我给她们室长也是做的同样的系统,安装同一个版本的VS2005,但是她们室长的就没有出现过这样的问题,而且冬冬的同学也没有人遇到同样的问题,我很郁闷.想我堂堂 ...
  • Android关于疑难bug处理方法之一(搜索不到相同bug解决方案)
    如果你的bug,在stackoverflow里,在google里都搜索不到.那很可能是你自己调用方式不正确.提供下我使用DialogFragment遇到的此类问题,log如下:    如果一直在搜索:java.lang.NullPointerExceptionandroid.support.v4.a ...
  • Exchange搜索和颗粒级还原解决方案
    Recovery Manager for ExchangeQuest Recovery Manager for Exchange(以下简称RME)提供从Exchange备份中搜索和恢复邮件的能力,以满足如下常规性需求:·搜索:人力资源或其他调查需要查找邮件,诉讼中提供邮件证据,响应监管调查(SEC, ...
  • 接上篇文章,最近做视频背景的游戏.需要使用安卓的meidaplayer来播放视频,并跳转.跳转时发现,有些视频可以跳到位置上,有些不行.GG了好久,可以使用FFMPEG这个工具重新转一次.并加上关键帧即可.果然能SeekTo到正确的位置上了.以下是bat命令:ffmpeg -i  -x264opts ...
  • Sphinx中文分词在discuz 中的应用.Sphinx-for-chinese是一款专注于中文搜索的全文检索软件,在sphinx的基础上添加了中文处理模块并优化了中文搜索效果.相比而言,以某某论坛几千万数据环境来看,比Coreseek封装的sphinx中文分词+mmseg3组合要好一点1.准备环 ...
  • Magento搜索产品结果不精准的问题
    Magento的搜索产品默认结果集是按查询的词去分词了再OR查询(具体按Catalog Search设置的查询模式).比如搜索"magento 产品"这词的话,结果是可能包括"magento"或者包括"产品"的结果集.如果想要查询的结果是精 ...
  • 由于DedeCMS搜索采用了分词,提升了搜索智能化,但是我们发现,搜索结果并没有变的更准确,本篇对DedeCMS的搜索进行一个优化,使它的搜索结果变的更智能.准确.首先需要调整搜索页面的一个栏目关键词替换,找到/plus/search.php将其中58行代码:<pre class=" ...
  • 一.分词软件简介 分词算法在20世纪80年代就有研究,不过基于当时的技术条件所限,大多数就是原始的机械分词算法.比如,最大匹配算法,mmseg等.关于原始的机械分词算法 http://www.cnblogs.com/alic/articles/1215001.html 这篇blog有很详细的介绍. ...
一周排行
  • 统一沟通-微软-实战-7-配置-4-未分配号码的通知
    1. 通知配置先决条件和角色2. 通知的部署过程3. 配置通知4. 配置未分配号码表5. ...
  • 缅怀三年——炫丽的新加坡上
    时光如梭,一不留神就发现自己在新加坡工作.学习和生活了将近三年之久.本文并没有太多的文字描 ...
  • 1.双向冒泡: 通常的冒泡是单向的,而这里是双向的,也就是说还要进行反向的工作. 代码看起来复杂,仔细理一下就明白了,是一个来回震荡的方式. 写这段代码的作者认为这样可以在冒泡的基础上减少一些交换(我不这么认为,也许 ...
  • 众所周知,linux是没有回收站的,一些人很害怕删错东西(有经验的linux管理员极少范这错误),个人不建议回收站,而应该是培养个人的安全意识.有点小跑题.接着回来101个脚本之#15 Archiving Files ...
  • Logistic回归模型和Python实现
    回归分析是研究变量之间定量关系的一种统计学方法,具有广泛的应用. Logistic回归模型 ...
  • symantec备份之一(1)安装windowsagent
    今天是周六,下午迷迷糊糊睡了一觉,醒来时,天气太热了.这天气适合做什么呢? 我觉得没事做下 ...
  • 之前用JakeWharton的开源框架ActionBarSherlock和ViewPager实现了对网易新闻客户端Tab标签的功能,ActionBarSherlock是在3.0以下的机器支持ActionBar的功能, ...
  • 其实这个在手册中的变量赋值一章已经介绍.好多人没有注意看而已. /*DDL Information For - test.user*/-----------------------------------Table  ...
  • 程序员的九重境界,你是第几重?    第一重:    在哪本电脑杂志上看见软件工程师这个职业介绍,或者走在大街上看见某某软件培训机构鼓吹培训完就能年薪10万的广告,有些羡慕那些编程序的,自己有些蠢蠢 欲动.    第 ...
  • 1. sudo vi /etc/xinetd.d/telnet并加入以下内容:# default: on# description: The telnet server serves telnet sessions; ...