分词问题导致的搜索结果不准确的解决方案-sphinx

基于网站搜索关键词“人民法院主管”的结果比“法院主管”结果多的问题,今天上午我详细阅读了网上的中英文文档。

发现最可能的原因,是分词库的问题。

举个例子,对于猕猴桃一词,如果词库中有猕猴、桃、猕猴桃三个词,那么索引的时候会索引成“猕猴桃”,换句话说,搜索“猕猴”、“桃”都不会找到“猕猴桃”这个词,只有搜索“猕猴桃”才能找到。

sphinx的逻辑是,“猕猴”、“桃”和“猕猴桃”指代的事物是不一样的。

然而,问题在于,中文是存在根词的。比如说“猕猴桃”,这个词确实和“猕猴”、“桃”不是一个事物,但是,“猕猴桃”也是“桃”。搜索“猕猴”的时候找不到“猕猴桃”是正确的,但是搜索“桃”,应该找到“猕猴桃”。

因为,“猕猴桃”这个词的根词,是“桃”。

推演到网站的bug:

由于我们的分词库中包括“人民”、“法院”、“人民法院”这三个词,所以搜索“法院主管”的时候,是找不到包含“人民法院主管”的词汇的,因为搜索“法院”一词,找不到“人民法院”。

解决方案:在分词库中删掉“人民法院”这种合成词。

测试:

 1 [root@master bin]# cat test.txt
 2 本案纠纷是否属于人民法院主管
 3  
 4 用现有词典进行分词,结果如下:
 5 /usr/local/mmseg3/bin/mmseg  -d /usr/local/mmseg3/etc/ /usr/local/mmseg3/bin/test.txt
 6 本案/x 纠纷/x 是否/x 属于/x 人民法院/x 主管/x
 7  
 8 查看词典内容,发现有词条为:人民法院
 9 vi /usr/local/mmseg3/etc/unigram.txt
10 人民法院        1
11 x:1
12  
13 所以,对于该搜索,搜索“人民法院主管”时会显示,但是,搜索“法院主管”时,因为没有“法院”和“主管”词条,
14 所以,没有搜索结果。
15  
16 解决方法:
17 删除“人民法院”词条,重建分词词典,测试结果如下:
18 [root@master etc]# /usr/local/mmseg3/bin/mmseg -u unigram.txt
19 [root@master etc]# ls
20 mmseg.ini  unigram.txt  unigram.txt.uni  uni.lib  uni.lib.20151130
21 [root@master etc]# mv unigram.txt.uni  uni.lib
22 mv: overwrite `uni.lib'? y
23 [root@master etc]# chmod 666 uni.lib
24 [root@master etc]# ll
25 total 9076
26 -rwxr-xr-x 1 root root     229 Nov 11 15:26 mmseg.ini
27 -rwxr-xr-x 1 root root 1826230 Nov 30 14:59 unigram.txt
28 -rw-rw-rw- 1 root root 3729224 Nov 30 15:00 uni.lib
29 -rwxr-xr-x 1 root root 3729280 Nov 11 15:26 uni.lib.20151130
30 [root@master etc]# 
31 [root@master etc]# /usr/local/mmseg3/bin/mmseg  -d /usr/local/mmseg3/etc/ /usr/local/mmseg3/bin/test.txt
32 本案/x 纠纷/x 是否/x 属于/x 人民/x 法院/x 主管/x
33  
34  
35 该测试,将“人民”,“法院”,“主管”分成了三个词,这样,搜索“人民法院主管”和“法院主管”均可命中。

总结:

对于该类问题,统一解决方法为,检查unigram.txt词典,将长关键词尽量缩短为短关键词,

但是,不能极端地将所有关键词缩短为1个字,否则词典索引会变大,损耗系统内存。

参考资料:

1、http://blog.atime.me/note/mmseg-custom-dict.html#2ea33d

2、http://www.coreseek.cn/opensource/mmseg/

3、http://www.coreseek.cn/products-install/ngram_len_cjk/

4、http://blog.csdn.net/websites/article/details/36626573

更多相关文章
  • 冬冬说她的VS2005又坏掉了,表现症状为调试的时候报错,并且自动退出VS2005.这多少会让人感到郁闷,已经记不清这是第几次遇到同样的问题了.我给她们室长也是做的同样的系统,安装同一个版本的VS2005,但是她们室长的就没有出现过这样的问题,而且冬冬的同学也没有人遇到同样的问题,我很郁闷.想我堂堂 ...
  • Android关于疑难bug处理方法之一(搜索不到相同bug解决方案)
    如果你的bug,在stackoverflow里,在google里都搜索不到.那很可能是你自己调用方式不正确.提供下我使用DialogFragment遇到的此类问题,log如下:    如果一直在搜索:java.lang.NullPointerExceptionandroid.support.v4.a ...
  • Exchange搜索和颗粒级还原解决方案
    Recovery Manager for ExchangeQuest Recovery Manager for Exchange(以下简称RME)提供从Exchange备份中搜索和恢复邮件的能力,以满足如下常规性需求:·搜索:人力资源或其他调查需要查找邮件,诉讼中提供邮件证据,响应监管调查(SEC, ...
  • 接上篇文章,最近做视频背景的游戏.需要使用安卓的meidaplayer来播放视频,并跳转.跳转时发现,有些视频可以跳到位置上,有些不行.GG了好久,可以使用FFMPEG这个工具重新转一次.并加上关键帧即可.果然能SeekTo到正确的位置上了.以下是bat命令:ffmpeg -i  -x264opts ...
  • Sphinx中文分词在discuz 中的应用.Sphinx-for-chinese是一款专注于中文搜索的全文检索软件,在sphinx的基础上添加了中文处理模块并优化了中文搜索效果.相比而言,以某某论坛几千万数据环境来看,比Coreseek封装的sphinx中文分词+mmseg3组合要好一点1.准备环 ...
  • Magento搜索产品结果不精准的问题
    Magento的搜索产品默认结果集是按查询的词去分词了再OR查询(具体按Catalog Search设置的查询模式).比如搜索"magento 产品"这词的话,结果是可能包括"magento"或者包括"产品"的结果集.如果想要查询的结果是精 ...
  • 由于DedeCMS搜索采用了分词,提升了搜索智能化,但是我们发现,搜索结果并没有变的更准确,本篇对DedeCMS的搜索进行一个优化,使它的搜索结果变的更智能.准确.首先需要调整搜索页面的一个栏目关键词替换,找到/plus/search.php将其中58行代码:<pre class=" ...
  • 一.分词软件简介 分词算法在20世纪80年代就有研究,不过基于当时的技术条件所限,大多数就是原始的机械分词算法.比如,最大匹配算法,mmseg等.关于原始的机械分词算法 http://www.cnblogs.com/alic/articles/1215001.html 这篇blog有很详细的介绍. ...
一周排行
  • 1¥ ADO.NET概述大部分应用程序都要访问或者保存数据,通常,这些数据都是保存在数据库中的.这就需要用到数据库访问的方法和技术,ADO.NET就是这种技术之一.1$ ADO.NET简介1..ADO.NET是.NE ...
  • FTP服务配置+实例续
    上一篇介绍过基本原理.安装步骤和基本的配置选项,现在我们设置一个有具休要求的服务器公司有四 ...
  • 出于各种原因,你可能需要重新安装Exchange Server 2007 CCR的某个节点,这里就以正常退出再正常加入一个节点为例子说一下这个操作.先描述一下现有环境,有4台虚机,DC为域控,E12为Hub+CAS, ...
  • 刚开始学习2008新特性~~~写错的地方各位大侠多多提醒,慢慢增加文章.如果您的测试结果和我的不一样~也是正常,毕竟还是测试版本~~一切都是变数  --测试版本Microsoft SQL Server 2008 (C ...
  • 原文出处:http://blog.csdn.net/fontlose/article/details/8350087目录(?)[-]一信号量定义操作函数读者写者旗帜二互斥体三完成量的用法四自旋锁五原子变量六位变量li ...
  • openssh配置终极一帖
          一.什么是opensshOpenSSH 是 SSH (Secure SHell ...
  • redmine安装以及安装环境说明三
    最近因为要参加学历考试,要撰写论文,一直将此专题搁置了下来,今天有时间来写第三章,redm ...
  • 从TP.FP.TN.FN到ROC曲线.miss rate.行人检测评估 想要在行人检测的evaluation阶段要计算miss rate,就要从True Positive Rate讲起:miss rate = 1 - ...
  • 一家咨询公司在部署了瑞星网络版2010产品后发现,新安全方案的安全防御能力比以往有了很大的提升,病毒木马基本可以在5分钟内处理完毕,使公司在信息安全方面节省了很多的时间和资源. 其实,这得益于瑞星杀毒软件网络版201 ...
  • FTP,企业内部再熟悉不过的文件共享服务器了vsftp是linux系统下安全较高FTP服务器配置VSFTP(以实例说明)要求 --服务器网络接口IP:200.200.200.111       FTP最大连接数:10 ...