测试ibus输入法默认词库的流行词覆盖度

BOYPT — Tue, 31 Mar 2009 16:03:37 +0000

这些天一直在想怎么扩充ibus输入法的词库，虽然一般使用感觉还好。在网上找到sogou提供了一个“互联网词库”，里面是搜索引擎分析出来的15万多词语，本想拿来导入到ibus，先用python测试了一下有多少词语已经在ibus的默认词库中，最后发现15万流行词中只有200多不在默认词库中，ibus词库确实挺优秀。

程序输出：（测试代码见后）

seached: 157200 times. 215 phrases not in the database,
written in file 'notexist'

查看notexist文件，发现除了后半部分一大堆频度为1的成语之外，只有20多个大频率词没在默认词库：
（- -｜原来连“裸体”都没有？太和谐了！建议广滇驹推荐ibus为国家首选输入法）

乾坤 3561275 N,
乾隆 3088184 N,
乾净 1533219
夥伴 1052393
瞭望 984469
宏碁 979267
乾脆 953204
乾燥 624377
清乾隆 480337
乾隆皇帝 380252 N,
阿房宫 235461
乾隆年间 214986
定乾坤 210477
乾隆帝 149133
乾坤袋 143966
著色 111072
萧乾 84647
小夥子 79076
瞭望台 71630
寒伧 50780 V,ADJ,
祼体 46797

其实ibus词库不用再怎么扩充了，呵呵，当然萌萌的草泥马、雅篾蝶、法克鱿之类的新新词汇，还得用户自己敲一下咯，或者能找到专用的神兽词库……

#!/usr/bin/python
 
import sqlite3
 
con = sqlite3.connect('/usr/share/ibus-pinyin/engine/py.db')
c = con.cursor()
 
diclib = open("Freq/SogouLabDic.dic",'r')
rec_notexist = open('notexist','w')
 
seachCounter = 0
notExistCounter = 0
 
while 1:
    line = diclib.readline()
    if not len(line):
        break
    data = line.split('\t')
    try:
        phrase = data[0].decode("gbk")
 
        c.execute("select *\
            from py_phrase\
            where phrase = ?", [phrase.encode('utf-8')])
 
        rows = c.fetchall()
        seachCounter += 1
    except UnicodeDecodeError, e:
        print e
        print data[0]
        rec_notexist.writelines(line)
        continue
    except BaseException, e:
        print e
        break
 
    if not rows:
        notExistCounter += 1
        rec_notexist.writelines(line)
        print phrase
 
print "Seached: %d times. %d phrases not in the database, \n \
written in file 'notexist'" %(seachCounter, notExistCounter)
 
rec_notexist.close()
diclib.close()
con.close()

关于ibus输入法词库

BOYPT — Mon, 30 Mar 2009 08:46:03 +0000

目前Linux下几个拼音输入法都处于初级的开发阶段，很难说哪个特别成熟，除了老牌的Fctix，基于SCIM平台有默认的智能、巨蟒、SunPinYin，当然还有我用的ibus。SunPinYin是Sun的OpenSolaris里面的一个项目，基于“统计语言模型”，技术刚刚的，据说反应极快，虽然目前功能欠缺，但真让人期待。

默认词库最大的似乎是巨蟒，据说用了sogou早期的词库，但是似乎词库处理上算法有点粗糙，而Fcitx的词库实在太小……ibus算中规中矩，词库不小，不算新，但也很容易让用户上手。

顺便练习下SQL

ibus当然也不完美，比如删词功能就经常不行（Ctrl + num），之前有hao的首选字突然变成了“号”，但明显“好”才更常用，郁闷了几天，安装了sqlitebrowser，打开用户词库，找到“号”把user_freq调回单位数（居然说我输入了几百次，晕！可能某次程序出错多循环了一会。）

盯着词库看挺好玩的，想到如果能导入搜狗词库多好（ibus比较却成语类的词），还顺手照书上例子试了下用Python读取ibus的数据库。没什么意义，当是数据库编程的Hello World吧。

#!/usr/bin/python
 
import sqlite3
 
con = sqlite3.connect('/home/pentie/.ibus/pinyin/user.db')
c = con.cursor()
c.execute("""select phrase,user_freq
    from py_phrase
    where user_freq = 1
    """)
 
rows = c.fetchall()
f = open('one','w')
for record in rows:
    l = u"%s,%s\n" % record
    f.writelines(l.encode("utf-8"))
 
f.close()
con.close()

在网上搜了一下，还真有人写了个导入词库的脚本：http://forum.ubuntu.org.cn/viewtopic.php?f=8&t=188685

帖子的说明还算详细的，我从sogou细胞词库下载了“成语词条”，稍做修改导入成功后试了下，不错。

apt-blog.net 无证程序员的PT桑 » 词库

测试ibus输入法默认词库的流行词覆盖度

关于ibus输入法词库