apt-blog.net 无证程序员的PT桑 » ibus http://apt-blog.net 潜逃中。 Fri, 18 May 2012 11:25:05 +0000 en hourly 1 http://wordpress.org/?v=3.3.2 ibus数据库高频词错误修正脚本 http://apt-blog.net/a_script_fixing_errors_in_ibus_pinyin http://apt-blog.net/a_script_fixing_errors_in_ibus_pinyin#comments Fri, 24 Apr 2009 11:24:18 +0000 PT http://apt-blog.net/archives/299.html 使用ibus时间长了，常常突然发现有些本来常驻的首选或者常用字词突然掉到后面，甚至到了第二页，并不是被其他词挤掉，而是可能ibus的用户数据库出现错乱了。

不知道这是ibus程序的bug，还是ibus所用的SQLite数据库系统本身的问题，本来当用户输入一个拼音，ibus从用户数据库里面提出对应字的用户输入频数，决定字词的位置；如果用户第一次选择输入某个字，那么该字的记录就添加到用户数据库中，下次输入时便以此记录来提前该字的位置。理论上，在用户数据库里面一个词条的记录最多只能出现一次（多音字算多个字），然而，在实际的使用中，有时不知什么原因，某个本来常用的字被当作第一次输入再次加入到数据库当中，下次输入时，该字便作为低频字来排序，导致位置变得很后，带来不少不便。

这个Python脚本就是把这样的词条找出来，并把后来加入的记录删掉，把词条频数还原。

脚本下载：http://code.google.com/p/ptcoding/source/browse/trunk/ibus_fix
(svn目录内的ibux_db_fix.py，其他的两个是测试脚本)

程序功能：

  1. 自动备份用户词库
  2. 检出用户数据库中出现了两次，但不是多音字词的词条
  3. 将后加入的词条删除

检出错词的SQL：

SELECT * FROM py_phrase
WHERE phrase IN
(SELECT phrase
FROM py_phrase
GROUP BY phrase
HAVING COUNT(*) = 2)

尚存缺陷：

  1. 如果同一个词条的记录出现了3次或以上，程序不能鉴别（极少可能出现，可修改脚本内的SQL语句来查询出来）
  2. 如果一个字本身是多音字，其中一个音节出现了上述情况，程序不能鉴别（貌似概率也挺低的）
  3. 如果两个记录中的用户输入频数相同，两条记录都会被删掉（倒不是坏事，影响不大）

Python源码：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65

#!/usr/bin/python
# -*- coding: utf-8 -*-
import os
import sqlite3
 
DB = os.getenv("HOME") + "/.ibus/pinyin/user.db"
 
if not os.path.exists(DB):
     print "囧……似乎没有安装ibus……PT发来贺电……"
     exit(1)
 
# ------ Backup database file --------
import time
nowtime = time.strftime("_%Y-%m-%d-%H_%M_%S", time.localtime())
DB_BK = DB + nowtime
execute = "cp -v %s %s" % (DB, DB_BK)
os.system(execute)
print "ibus用户数据库已备份到",DB_BK
 
 
# ------ Connect to Database ---------
con = sqlite3.connect(DB)
c = con.cursor()
c.execute("""SELECT * FROM py_phrase
            WHERE phrase IN
                (SELECT phrase
                    FROM py_phrase
                    GROUP BY phrase
                    HAVING COUNT(*) = 2)""")
 
rows = c.fetchall()
badphrase = []
 
# ------ Detemine bad phrases -------
for i in range(0, len(rows), 2):
    flag = True
    phrase = rows[i:i+2]
    for j in range(1, 5):
        if phrase[0][j] != phrase[1][j]:
            flag = False
    if flag:
        badphrase.append(phrase[1])
 
 
if not len(badphrase):
    print "没有发现错误词条……PT发来贺电…… http://apt-blog.net"
else:
    print "发现以下错误词条, 共%d个：" % len(badphrase)
    for row in badphrase:
        print "**[%s]**" % row[-3]
    print "\n执行优化清理……"
 
    # ------  Clean work to Database
    try:
        for row in badphrase:
            sql = "DELETE FROM py_phrase WHERE phrase = \"%s\" AND user_freq = %s" % (row[-3], row[-1])
            #print sql
            c.execute(sql)
 
        con.commit()
        print "清理完成……PT发来贺电…… http://apt-blog.net"
    except sqlite3.OperationalError:
        print "清理无法完成，请先退出ibus..."
 
con.close()
]]> http://apt-blog.net/a_script_fixing_errors_in_ibus_pinyin/feed 1 测试ibus输入法默认词库的流行词覆盖度 http://apt-blog.net/testing_ibus_pinyin http://apt-blog.net/testing_ibus_pinyin#comments Tue, 31 Mar 2009 16:03:37 +0000 BOYPT http://apt-blog.net/archives/214.html 这些天一直在想怎么扩充ibus输入法的词库，虽然一般使用感觉还好。在网上找到sogou提供了一个“互联网词库”，里面是搜索引擎分析出来的15万多词语，本想拿来导入到ibus，先用python测试了一下有多少词语已经在ibus的默认词库中，最后发现15万流行词中只有200多不在默认词库中，ibus词库确实挺优秀。

程序输出：（测试代码见后）

seached: 157200 times. 215 phrases not in the database,
written in file 'notexist'

查看notexist文件，发现除了后半部分一大堆频度为1的成语之外，只有20多个大频率词没在默认词库：
（- -｜原来连“裸体”都没有？太和谐了！建议广滇驹推荐ibus为国家首选输入法）

乾坤 3561275 N,
乾隆 3088184 N,
乾净 1533219
夥伴 1052393
瞭望 984469
宏碁 979267
乾脆 953204
乾燥 624377
清乾隆 480337
乾隆皇帝 380252 N,
阿房宫 235461
乾隆年间 214986
定乾坤 210477
乾隆帝 149133
乾坤袋 143966
著色 111072
萧乾 84647
小夥子 79076
瞭望台 71630
寒伧 50780 V,ADJ,
祼体 46797

其实ibus词库不用再怎么扩充了，呵呵，当然萌萌的草泥马、雅篾蝶、法克鱿之类的新新词汇，还得用户自己敲一下咯，或者能找到专用的神兽词库……

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47

#!/usr/bin/python
 
import sqlite3
 
con = sqlite3.connect('/usr/share/ibus-pinyin/engine/py.db')
c = con.cursor()
 
diclib = open("Freq/SogouLabDic.dic",'r')
rec_notexist = open('notexist','w')
 
seachCounter = 0
notExistCounter = 0
 
while 1:
    line = diclib.readline()
    if not len(line):
        break
    data = line.split('\t')
    try:
        phrase = data[0].decode("gbk")
 
        c.execute("select *\
            from py_phrase\
            where phrase = ?", [phrase.encode('utf-8')])
 
        rows = c.fetchall()
        seachCounter += 1
    except UnicodeDecodeError, e:
        print e
        print data[0]
        rec_notexist.writelines(line)
        continue
    except BaseException, e:
        print e
        break
 
    if not rows:
        notExistCounter += 1
        rec_notexist.writelines(line)
        print phrase
 
print "Seached: %d times. %d phrases not in the database, \n \
written in file 'notexist'" %(seachCounter, notExistCounter)
 
rec_notexist.close()
diclib.close()
con.close()
]]> http://apt-blog.net/testing_ibus_pinyin/feed 0 关于ibus输入法词库 http://apt-blog.net/exporing_the_ibus_pinyin_word_database http://apt-blog.net/exporing_the_ibus_pinyin_word_database#comments Mon, 30 Mar 2009 08:46:03 +0000 BOYPT http://apt-blog.net/archives/168.html 目前Linux下几个拼音输入法都处于初级的开发阶段，很难说哪个特别成熟，除了老牌的Fctix，基于SCIM平台有默认的智能、巨蟒、SunPinYin，当然还有我用的ibus。SunPinYin是Sun的OpenSolaris里面的一个项目，基于“统计语言模型”，技术刚刚的，据说反应极快，虽然目前功能欠缺，但真让人期待。

默认词库最大的似乎是巨蟒，据说用了sogou早期的词库，但是似乎词库处理上算法有点粗糙，而Fcitx的词库实在太小……ibus算中规中矩，词库不小，不算新，但也很容易让用户上手。

sqlitebrowser

顺便练习下SQL

ibus当然也不完美，比如删词功能就经常不行（Ctrl + num），之前有hao的首选字突然变成了“号”，但明显“好”才更常用，郁闷了几天，安装了sqlitebrowser，打开用户词库，找到“号”把user_freq调回单位数（居然说我输入了几百次，晕！可能某次程序出错多循环了一会。）

盯着词库看挺好玩的，想到如果能导入搜狗词库多好（ibus比较却成语类的词），还顺手照书上例子试了下用Python读取ibus的数据库。没什么意义，当是数据库编程的Hello World吧。

#!/usr/bin/python
 
import sqlite3
 
con = sqlite3.connect('/home/pentie/.ibus/pinyin/user.db')
c = con.cursor()
c.execute("""select phrase,user_freq
    from py_phrase
    where user_freq = 1
    """)
 
rows = c.fetchall()
f = open('one','w')
for record in rows:
    l = u"%s,%s\n" % record
    f.writelines(l.encode("utf-8"))
 
f.close()
con.close()

在网上搜了一下，还真有人写了个导入词库的脚本：http://forum.ubuntu.org.cn/viewtopic.php?f=8&t=188685

帖子的说明还算详细的，我从sogou细胞词库下载了“成语词条”，稍做修改导入成功后试了下，不错。

]]> http://apt-blog.net/exporing_the_ibus_pinyin_word_database/feed 1