'Python' Category

• An improved Vimpress

  七月 3, 2010

  Vim has been so graceful that I like to have any text editing work done in her, especially coding and blogging. As a Firefox user, I previously use scribefire to write to my wordpress blog, actually I was working with HTML, I don't like WYSIWYG editing, which always creates dirty codes. However, scribefire is not [...]

  posted in Blogger Tech, Python, Vim by PT

• PDB远程调试Python多进程子程序

  三月 14, 2010

  此前文章《最简单方法远程调试Python多进程子程序》利用了Unix管道文件以及简单的bash来配合调试多进程子程序，但也因此没法跨平台支持windows下的子进程调试，这次简单使用socket接口写了个模块，利用类文件对象传给Pdb的构造，因此不仅可以跨平台，甚至跨机器，跨网络调试都没问题（通常不会这么BT的）。 使用方法，用回之前的例子： 先在终端运行调试服务端： python -c "import rm_pdb; rm_pdb.server()" 在另外的终端运行这个文件： multiproces_debug.py 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 #!/usr/bin/python   import multiprocessing import pdb import rm_pdb   def child_process(): print "Child-Process" rm_pdb.pdb().set_trace() var = "debug me!"   def main_process(): print "Parent-Process" p [...]

  posted in Programming, Python by PT

• 最简单方法远程调试Python多进程子程序

  三月 5, 2010

  Python 2.6新增的multiprocessing，即多进程，给子进程代码调试有点困难，比如python自带的pdb如果直接在子进程代码里面启动会抛出一堆异常，原因是子进程的stdin/out/err等文件都已关闭，pdb无法调用。据闻winpdb、Wing IDE的调试器能够支持这样的远程调试，但似乎过于重量级（好吧前者比后者要轻多了，但一样要wxPython的环境，再说pdb的灵活可靠它们难以比拟）。 其实只需稍作改动即可用pdb继续调试子进程的代码，思路来自这个博客：子进程的stdin/out/err关闭了，那可以自己重新按/dev/stdout的名称打开来用。当然这指*nix下，win下要麻烦一些，后面再说。 pdb支持自定义输出输入的文件，我再稍作改动，使用fifo管道(Named Pipe)来完成pdb的输出输入的重定向，这样的好处是，可以同时对父子进程调试！ multiproces_debug.py 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 #!/usr/bin/python   import multiprocessing import pdb   def child_process(): print "Child-Process" pdb.Pdb(stdin=open('p_in', 'r+'), stdout=open('p_out', 'w+')).set_trace() var = "debug me!"   def main_process(): print "Parent-Process" p = multiprocessing.Process(target = [...]

  posted in Python, Unix/Linux by PT

• Python, C-Python, Cython代码与GIL的交互

  一月 7, 2010

  这篇笔记相对Python来说，有点底层，先来解释几个名词： C-Python: 或者CPython，指C实现的Python虚拟机的基础API。最通用的Python就是是基于C实现的，它的底层API称为C-Python API，所有Python代码的最终变成这些API以及数据结构的调用，才有了Python世界的精彩； Cython：准确说Cython是单独的一门语言，专门用来写在Python里面import用的扩展库。实际上Cython的语法基本上跟Python一致，而Cython有专门的“编译器”先将Cython代码转变成C（自动加入了一大堆的C-Python API），然后使用C编译器编译出最终的Python可调用的模块。 GIL：Global Interpreter Lock，是Python虚拟机的多线程机制的核心机制，翻译为：全局解释器锁。其实Python线程是操作系统级别的线程，在不同平台有不同的底层实现（如win下就用win32_thread, posix下就用pthread等），Python解释器为了使所有对象的操作是线程安全的，使用了一个全局锁（GIL）来同步所有的线程，所以造成“一个时刻只有一个Python线程运行”的伪线程假象。GIL是个颗粒度很大的锁，它的实现跟性能问题多年来也引起过争议，但到今天它还是经受起了考验，即使它让Python在多核平台下CPU得不到最大发挥。 GIL的作用很简单，任何一个线程除非获得锁，否则都在睡眠，而如果获得锁的线程一刻不释放锁，别的线程就永远睡眠下去。对于纯Python线程，这个问题不大，Python代码会通过解释器实时转换成微指令，而解释器给他们算着，每个线程执行了一定的指令数后就要把机会让给别的线程。这个过程中操作系统的调度作用比较微妙，不管操作系统怎么调度，即使把有锁线程挂起到后台，尝试唤醒没锁的，解释器也不给他任何执行机会，所以Python对象很安全。 所以一般来说，做纯Python的编程不需要考虑到GIL，它们是不同层面的东西，但是模块级别的C-Python、Cython等C层面的代码，跟Python虚拟机是平起平坐的，所以GIL很可能需要考虑，特别那些代码涉及IO阻塞、长时间运算、休眠等情况的时候（否则整个Python都在等这个耗时操作的返回，因为他们没获得锁，急也没办法）。 想体现这个过程，很简单，考虑下面的代码，一段纯Python和一段纯C的循环，每次print一段文字就睡眠一秒。 1 2 3 4 5 6 7 void _c_loop ( void ) { while(1) { printf("Print from C loop\n"); sleep(1); } } 1 2 3 4 def _py_loop(): while True: print "Print from Python loop" time.sleep(1) 先不管他们是如何揉合到同一Python进程里面，两个进程分别执行了这两个函数后，他们应该以大概相互间隔着输出文字；但实际情况是，Print from Python loop这句出现了一次之后（先启动了纯Python线程，否则它连启动的机会都没），剩下的输出全都是Print from C [...]

  posted in Programming, Python, Unix/Linux by PT

• 什么是pythonic？

  九月 20, 2009

  昨天的技术沙龙上，清风大妈Zoom.Quiet给大家提了个“很基础很基本”的问题，什么是pythonic？ 自己没特地做过功课，但pythonic这个词不陌生，应该见过几次，但是要说具体是什么，确实很空白。说起python，我首先想起来的是其很让人愉悦的编码体验，一些很常用的封装让人感觉很“惊艳”，比如说，for line in open('file'):ooxxooxx，替代了C++、Java等里面的readline，更不会让人产生在C里面打开文件时候那种恐惧感；还有一些很贴心的细节就是，高度对象化，比如说gtk的TreeViewModel，可以直接送给SQL cursor的execute，直接把用户界面的数据写入到数据库里面去……因为都是list。 像这样的“愉悦感”，就是我理解的pythonic。昨天会场上有人的答案是：“简洁，优雅，高效”，获得比较多人的认可（得到了奖品带大妈签名的《可爱的Python》一本）。 回来后看了看华蟒用户组的首页，呃，很明显写着嘛：申明 pythonic == "大道至简"，也八九不离十了。 这两天也是这个邮件组里面有人讨论实现小时候铅笔盒上的九九乘法表，最获得大家认可的答案是： print "".join([('%s*%s=%s%s' % (y,x,x*y,'\n' if x==y else '\t')) for x in range(1,10) for y in range(1,10) if x >= y]) 看了犯晕，这很明显跟python给人“惊艳感”的做法背道而驰的，但怎么会这么多人认可呢……同时想起咋们群主“逆”说一直没搞懂的一句算素数的python: print reduce(lambda l,y:not 0 in map(lambda x:y % x, l) and l+[y] or l,xrange(2,1000), [] ) 这叫做pythonic？既不简洁，又不优雅，更不高效，充其量作为一个脑力游戏，还不如玩玩数独！ 玩小聪明一直都是天朝人的传统，人家孔乙己还会“茴”字的N个写法呢，但这类小聪明，着实应该远离python。

  posted in Python by BOYPT

• 通过python实现mutipart/form发送数据到paste.ubuntu.org.cn

  九月 16, 2009

  paste.ubuntu.org.cn是国内很多linuxer喜爱的“在线剪贴板”，在跟网友交流时把代码、截图等发在这里，然后把网址发送给对方即可，而且对多种常见代码支持语法高亮，功能简单贴心。（不用像某网友在这个博客上篇帖子里面那样，在留言里面贴一大堆乱哄哄的代码……=。=） 虽说方便，但平时要发送文件时候还是要打开浏览器，再贴代码或者选择文件，多少有点繁琐，所以打算用python写个上传脚本，跟nautilous结合的话，上传截图就方便多了。 首先问球猫要了个ubpaste的perl的脚本，虽然我不懂perl，但发现上传部分只有10来行代码嘛……看来挺简单的，可能用urllib随便弄一下就可以了……结果发现，不行！paste.ubuntu.org.cn用的是mutipart/form协议方式的上传，而python标准库里面没有直接支持这种协议（perl却有……而且自动支持……所以几行代码搞定=。=）…… 查了一下资料后自己写了个class来实现mutipart的boundary，才知道用http来发送文件，特别是上传大文件是这么麻烦的事情……不过还好，不算很复杂，但是整个脚本下来居然有150行代码了……=。= 现在还不能直接拿来当nautilous script用，因为第一个参数是读入文字而不是文件，还在犹豫用bash来重新封装（使用curl一行就搞定上面所说的上传了）……[懒ing]

  posted in Python, Unix/Linux by BOYPT

• 错误生涯：Warning: unable to set property `editable' of type `gboolean' from value of type `gchararray'

  五月 4, 2009

  Warning: unable to set property `editable' of type `gboolean' from value of type `gchararray' 做GTK编程的时候，使用TreeView控件时出现这个警告，也就是无法使单元格变为“editable”，原因出在这里： column = gtk.TreeViewColumn(columName[columnNum], renderer, editable=True) 原理解TreeViewColumn的构造函数接受的参数里面可以接受设置Cellrenderer的属性，就直接给editable设True，于是就得到以上警告。 换用add_attribute、set_attributes，均是如此。 Google上搜到同样错误警告，但是他的原因是设错值类型，我明明设了True啊…… 自己观察pygtk-demo的代码和手册，突然发现在构造函数里面给出的属性设置值不应该是直接的值，而是对应Model里面的相应column的值！看手册的描述： Zero or more attribute=column pairs may be added to specify from which tree model column to retrieve the attribute value. 呃，果然是看手册时候大意了，这么多年来还是让英语介词搞的晕头转向。如果在构造函数里面设True这个值，就会被解析为1，去对应Model里面第二栏的类型，是字符串的gchararray，当然对不上了。 解决办法是renderer.set_property("editable", True)，调用继承自GObject的set_property方法来设置对象属性。

  posted in GTK +, Python by PT

• ibus数据库高频词错误修正脚本

  四月 24, 2009

  使用ibus时间长了，常常突然发现有些本来常驻的首选或者常用字词突然掉到后面，甚至到了第二页，并不是被其他词挤掉，而是可能ibus的用户数据库出现错乱了。 不知道这是ibus程序的bug，还是ibus所用的SQLite数据库系统本身的问题，本来当用户输入一个拼音，ibus从用户数据库里面提出对应字的用户输入频数，决定字词的位置；如果用户第一次选择输入某个字，那么该字的记录就添加到用户数据库中，下次输入时便以此记录来提前该字的位置。理论上，在用户数据库里面一个词条的记录最多只能出现一次（多音字算多个字），然而，在实际的使用中，有时不知什么原因，某个本来常用的字被当作第一次输入再次加入到数据库当中，下次输入时，该字便作为低频字来排序，导致位置变得很后，带来不少不便。 这个Python脚本就是把这样的词条找出来，并把后来加入的记录删掉，把词条频数还原。 脚本下载：http://code.google.com/p/ptcoding/source/browse/trunk/ibus_fix (svn目录内的ibux_db_fix.py，其他的两个是测试脚本) 程序功能： 自动备份用户词库 检出用户数据库中出现了两次，但不是多音字词的词条 将后加入的词条删除 检出错词的SQL： SELECT * FROM py_phrase WHERE phrase IN (SELECT phrase FROM py_phrase GROUP BY phrase HAVING COUNT(*) = 2) 尚存缺陷： 如果同一个词条的记录出现了3次或以上，程序不能鉴别（极少可能出现，可修改脚本内的SQL语句来查询出来） 如果一个字本身是多音字，其中一个音节出现了上述情况，程序不能鉴别（貌似概率也挺低的） 如果两个记录中的用户输入频数相同，两条记录都会被删掉（倒不是坏事，影响不大） Python源码：

  posted in Python by PT