'Python' Tag

• An improved Vimpress

  七月 3, 2010

  Vim has been so graceful that I like to have any text editing work done in her, especially coding and blogging. As a Firefox user, I previously use scribefire to write to my wordpress blog, actually I was working with HTML, I don't like WYSIWYG editing, which always creates dirty codes. However, scribefire is not [...]

  posted in Blogger Tech, Python, Vim by PT

• PDB远程调试Python多进程子程序

  三月 14, 2010

  此前文章《最简单方法远程调试Python多进程子程序》利用了Unix管道文件以及简单的bash来配合调试多进程子程序，但也因此没法跨平台支持windows下的子进程调试，这次简单使用socket接口写了个模块，利用类文件对象传给Pdb的构造，因此不仅可以跨平台，甚至跨机器，跨网络调试都没问题（通常不会这么BT的）。 使用方法，用回之前的例子： 先在终端运行调试服务端： python -c "import rm_pdb; rm_pdb.server()" 在另外的终端运行这个文件： multiproces_debug.py 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 #!/usr/bin/python   import multiprocessing import pdb import rm_pdb   def child_process(): print "Child-Process" rm_pdb.pdb().set_trace() var = "debug me!"   def main_process(): print "Parent-Process" p [...]

  posted in Programming, Python by PT

• 最简单方法远程调试Python多进程子程序

  三月 5, 2010

  Python 2.6新增的multiprocessing，即多进程，给子进程代码调试有点困难，比如python自带的pdb如果直接在子进程代码里面启动会抛出一堆异常，原因是子进程的stdin/out/err等文件都已关闭，pdb无法调用。据闻winpdb、Wing IDE的调试器能够支持这样的远程调试，但似乎过于重量级（好吧前者比后者要轻多了，但一样要wxPython的环境，再说pdb的灵活可靠它们难以比拟）。 其实只需稍作改动即可用pdb继续调试子进程的代码，思路来自这个博客：子进程的stdin/out/err关闭了，那可以自己重新按/dev/stdout的名称打开来用。当然这指*nix下，win下要麻烦一些，后面再说。 pdb支持自定义输出输入的文件，我再稍作改动，使用fifo管道(Named Pipe)来完成pdb的输出输入的重定向，这样的好处是，可以同时对父子进程调试！ multiproces_debug.py 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 #!/usr/bin/python   import multiprocessing import pdb   def child_process(): print "Child-Process" pdb.Pdb(stdin=open('p_in', 'r+'), stdout=open('p_out', 'w+')).set_trace() var = "debug me!"   def main_process(): print "Parent-Process" p = multiprocessing.Process(target = [...]

  posted in Python, Unix/Linux by PT

• Python, C-Python, Cython代码与GIL的交互

  一月 7, 2010

  这篇笔记相对Python来说，有点底层，先来解释几个名词： C-Python: 或者CPython，指C实现的Python虚拟机的基础API。最通用的Python就是是基于C实现的，它的底层API称为C-Python API，所有Python代码的最终变成这些API以及数据结构的调用，才有了Python世界的精彩； Cython：准确说Cython是单独的一门语言，专门用来写在Python里面import用的扩展库。实际上Cython的语法基本上跟Python一致，而Cython有专门的“编译器”先将Cython代码转变成C（自动加入了一大堆的C-Python API），然后使用C编译器编译出最终的Python可调用的模块。 GIL：Global Interpreter Lock，是Python虚拟机的多线程机制的核心机制，翻译为：全局解释器锁。其实Python线程是操作系统级别的线程，在不同平台有不同的底层实现（如win下就用win32_thread, posix下就用pthread等），Python解释器为了使所有对象的操作是线程安全的，使用了一个全局锁（GIL）来同步所有的线程，所以造成“一个时刻只有一个Python线程运行”的伪线程假象。GIL是个颗粒度很大的锁，它的实现跟性能问题多年来也引起过争议，但到今天它还是经受起了考验，即使它让Python在多核平台下CPU得不到最大发挥。 GIL的作用很简单，任何一个线程除非获得锁，否则都在睡眠，而如果获得锁的线程一刻不释放锁，别的线程就永远睡眠下去。对于纯Python线程，这个问题不大，Python代码会通过解释器实时转换成微指令，而解释器给他们算着，每个线程执行了一定的指令数后就要把机会让给别的线程。这个过程中操作系统的调度作用比较微妙，不管操作系统怎么调度，即使把有锁线程挂起到后台，尝试唤醒没锁的，解释器也不给他任何执行机会，所以Python对象很安全。 所以一般来说，做纯Python的编程不需要考虑到GIL，它们是不同层面的东西，但是模块级别的C-Python、Cython等C层面的代码，跟Python虚拟机是平起平坐的，所以GIL很可能需要考虑，特别那些代码涉及IO阻塞、长时间运算、休眠等情况的时候（否则整个Python都在等这个耗时操作的返回，因为他们没获得锁，急也没办法）。 想体现这个过程，很简单，考虑下面的代码，一段纯Python和一段纯C的循环，每次print一段文字就睡眠一秒。 1 2 3 4 5 6 7 void _c_loop ( void ) { while(1) { printf("Print from C loop\n"); sleep(1); } } 1 2 3 4 def _py_loop(): while True: print "Print from Python loop" time.sleep(1) 先不管他们是如何揉合到同一Python进程里面，两个进程分别执行了这两个函数后，他们应该以大概相互间隔着输出文字；但实际情况是，Print from Python loop这句出现了一次之后（先启动了纯Python线程，否则它连启动的机会都没），剩下的输出全都是Print from C [...]

  posted in Programming, Python, Unix/Linux by PT

• 什么是pythonic？

  九月 20, 2009

  昨天的技术沙龙上，清风大妈Zoom.Quiet给大家提了个“很基础很基本”的问题，什么是pythonic？ 自己没特地做过功课，但pythonic这个词不陌生，应该见过几次，但是要说具体是什么，确实很空白。说起python，我首先想起来的是其很让人愉悦的编码体验，一些很常用的封装让人感觉很“惊艳”，比如说，for line in open('file'):ooxxooxx，替代了C++、Java等里面的readline，更不会让人产生在C里面打开文件时候那种恐惧感；还有一些很贴心的细节就是，高度对象化，比如说gtk的TreeViewModel，可以直接送给SQL cursor的execute，直接把用户界面的数据写入到数据库里面去……因为都是list。 像这样的“愉悦感”，就是我理解的pythonic。昨天会场上有人的答案是：“简洁，优雅，高效”，获得比较多人的认可（得到了奖品带大妈签名的《可爱的Python》一本）。 回来后看了看华蟒用户组的首页，呃，很明显写着嘛：申明 pythonic == "大道至简"，也八九不离十了。 这两天也是这个邮件组里面有人讨论实现小时候铅笔盒上的九九乘法表，最获得大家认可的答案是： print "".join([('%s*%s=%s%s' % (y,x,x*y,'\n' if x==y else '\t')) for x in range(1,10) for y in range(1,10) if x >= y]) 看了犯晕，这很明显跟python给人“惊艳感”的做法背道而驰的，但怎么会这么多人认可呢……同时想起咋们群主“逆”说一直没搞懂的一句算素数的python: print reduce(lambda l,y:not 0 in map(lambda x:y % x, l) and l+[y] or l,xrange(2,1000), [] ) 这叫做pythonic？既不简洁，又不优雅，更不高效，充其量作为一个脑力游戏，还不如玩玩数独！ 玩小聪明一直都是天朝人的传统，人家孔乙己还会“茴”字的N个写法呢，但这类小聪明，着实应该远离python。

  posted in Python by BOYPT

• 通过python实现mutipart/form发送数据到paste.ubuntu.org.cn

  九月 16, 2009

  paste.ubuntu.org.cn是国内很多linuxer喜爱的“在线剪贴板”，在跟网友交流时把代码、截图等发在这里，然后把网址发送给对方即可，而且对多种常见代码支持语法高亮，功能简单贴心。（不用像某网友在这个博客上篇帖子里面那样，在留言里面贴一大堆乱哄哄的代码……=。=） 虽说方便，但平时要发送文件时候还是要打开浏览器，再贴代码或者选择文件，多少有点繁琐，所以打算用python写个上传脚本，跟nautilous结合的话，上传截图就方便多了。 首先问球猫要了个ubpaste的perl的脚本，虽然我不懂perl，但发现上传部分只有10来行代码嘛……看来挺简单的，可能用urllib随便弄一下就可以了……结果发现，不行！paste.ubuntu.org.cn用的是mutipart/form协议方式的上传，而python标准库里面没有直接支持这种协议（perl却有……而且自动支持……所以几行代码搞定=。=）…… 查了一下资料后自己写了个class来实现mutipart的boundary，才知道用http来发送文件，特别是上传大文件是这么麻烦的事情……不过还好，不算很复杂，但是整个脚本下来居然有150行代码了……=。= 现在还不能直接拿来当nautilous script用，因为第一个参数是读入文字而不是文件，还在犹豫用bash来重新封装（使用curl一行就搞定上面所说的上传了）……[懒ing]

  posted in Python, Unix/Linux by BOYPT

• 玩转libnotify

  五月 22, 2009

  Ubuntu 9.04一个特性就是新的通知机制Notify OSD，让人一眼看上去很酷的样子，其实只是基于libnotify的调用，别看又DBUS又OSD那么复杂，其实一点都不神秘，跟PT来： 1 2 3 4 5 6 7 8 #!/usr/bin/python #coding:utf-8   import pynotify   pynotify.init ("PT-Title") n = pynotify.Notification ("PT的贺电", "PT再次发来贺电") n.show () 没看错，就是这么几句Python，保存成文件运行试试： 哈哈，很简单吧！ 如果你安装了libnotify-bin包，shell里面会有notify-send这个工具： notify-send "PT的贺电" "PT发来贺电" 差不多的效果，我就不抓图了，自己试试！ 当然除了python，libnotify还能在很多种语言的库实现，我用aptitude search libnotify搜索了一下，很明显有libinotify-ruby，libnotify-dev，libnotifymm-dev分别是ruby、C、C++方式的绑定，不过，python的pynotify是Ubuntu 9.04里面默认安装的呢…… 详细的开发还是看看Ubuntu的Notification Development Guidelines吧，注意在后部分有很多example的噢！！！

  posted in Unix/Linux by PT

• 数据库课程作业：图书管理系统

  五月 16, 2009

  上学期混混沌沌学完《数据库原理》，感觉除了会写几条SQL外没什么收获，至于DBMS的工作原理那些，在《操作系统》完全都有，但教数据库的老师不仅不知道这些联系，一丁点数据库技术前沿的信息也没“透露”过。这个学期的数据库课程设计，我用了一个通宵把基本要求的一个“图书管理系统”做完，用了pygtk作为界面和SQLite作为数据源。不过课程设计是需要搞文档的，一个字，很烦，在Google上面用“数据库课程 学生作品”搜出来了某某学校网页上面的作品，把别人的文档重新组合一下，配上我程序的插图，yeah，完工。 Python虽然在这几年逐渐流行，但是它很历史悠久（1990），一直以简洁和功能强大著称，比如内建对SQLite的支持。SQLite是“文件式数据库系统”，也是近年来发展很快的数据库系统之一，比如Firefox等软件都使用其作为后台数据的管理。SQLite秉承了Python弱类型的特点（呃，其实Python和SQLite没什么关系的，说不上秉承...），创建表的时候那些类型你可以天花龙凤地写，插入数据时更是“没王管”。这个LibiaryManager很可能是大家能在Google上能找到的技术最潮的数据库设计作业了。 为了给老师验收，pygtk在Windows下运行的环境也要设置下，不过还好，在pygtk的FTP上可以找到很新的win32版本（主页上面的链接很旧...），而且pygtk、pygobject、pycairo是单独打包的，缺一无法运行（= .=）。 程序中基本使用Treeview来处理输入和显示，不过后来感觉Treeview对录入数据很不方便。 当然啦，这次作业来自网络，当然还要回到网络中去，不保留任何版权，从这里下载：http://code.google.com/p/ptcoding/source/browse/trunk/LIBManager/

  posted in Programming by PT