月度归档:2007年04月

搜狗官方:搜狗输入法的词库是怎样来的

作者:搜狗输入法小组词库开发工程师 吕杰勇

 

众所周知,搜狗输入法在词库方面具有鲜明的特色,其词库不仅超大全面(大概有35 万左右),而且词条质量也很高.随着搜狗输入法的不断普及,越来越多的用户体验到了搜狗输入法的超级流畅性,但是这样的流畅性是以一个优秀的词库为基础的.作为一个输入法的核心部分,搜狗的超强词库是怎样来的呢?下面和广大关心搜狗输入法的朋友们分享一下词库制作中的艰辛和快乐.

搜狗的词条来源

词汇是一切中文应用的基础,但是世界上并没有任何一个词典包含了输入法所需要的所有词汇.比如中国汉语大辞典虽然包含了很多词条,但是仍然缺乏很多比较新、比较具体的词,网络的新词又层出不穷,所以搜狗输入法必须自己想办法构造一个适合他自己的词库.

由于搜狗是一家搜索引擎公司,自然会有一批自己做文本分析的词库,它包含了常用的基本词汇和部分专业词汇,但是在数量上还是远远不能覆盖用户对词汇的需求空间.经过分析可知,这部分缺少的词中有相当一部分是人名、地名、歌曲、小说、财经、旅游、游戏、体育等.幸运的是,搜狐矩阵蕴含着许多搜狗需要的这些资源,比如地名资源可以从go2map拿到,歌曲资源可以从搜狗的音乐搜索拿到,小说资源可以从搜狐网拿到,游戏词汇可以从17173游戏网拿到……这些资源虽然是内部资源,但是当初也是编辑经过长时间大量的整理维护工作的结晶,并且这涉及到大量部门间的合作,每一个流程下来都会花许多精力. 继续阅读