python 爬虫框架
学Python的应该都写过爬虫吧,如果希望提高爬虫的效率就要用到并发,可以选择的用多线程、多进程,还有最近很火的Gevent,据说是基于一种新的概念,协程,不管什么程,总之好用就行了。写一个爬虫有一系列的东西需要处理,如果有一个好用的框架就…
15 Sep 2012·5,117 reads
Articles
117
Total reads
426K
Records of technology, travel and everyday observations.
学Python的应该都写过爬虫吧,如果希望提高爬虫的效率就要用到并发,可以选择的用多线程、多进程,还有最近很火的Gevent,据说是基于一种新的概念,协程,不管什么程,总之好用就行了。写一个爬虫有一系列的东西需要处理,如果有一个好用的框架就…
15 Sep 2012·5,117 reads
前两个月我有幸参与了42区网站的重构(2012年中),经历了从hello world到完整网站的整个过程,为他添砖加瓦,也挖了不少坑。。。 42区的代码是开源的,可以从这里获得https://bitbucket.org/zuroc/42qu…
15 Sep 2012·3,397 reads
这两天在弄个小程序,需要用数据库,程序没什么,都是轻车熟路,可是处理数据库时遇到了问题,要插入的数据有几百万行,数据一多,情况也就复杂了,有些数据里面包含有 ' , " , ! 等特殊字符,导致insert select时出错。 刚开始遇到…
07 Sep 2012·1,874 reads
最近公司都迷上了打红警,真是一群无聊的骚年啊 一直玩的那个版本好像有点问题,经常卡,无奈今天又下载了一个版本,可惜不能联机,IPX协议安装了也不行,经过我不屑地寻找,终于找到了一个能用的补丁文件,就是一个dll文件,简单放到红警文件夹就行,…
25 Aug 2012·2,019 reads
今天工作时需要实现一个功能, 根据用户是否登录继承不同的模板,找了好久,终于找到了,直接上代码: 其中 context 这个变量中包含有所有上下文变量,比如你在View里面传入一个变量‘userlogin’,然后在模板中就可以根据是否登录选…
23 Aug 2012·2,029 reads
最近用写一个自用的小玩意,用的SQLite数据库,虽然访问量不会很大,但是每次刷页面出现好多SQL查询,看着还是不爽。只有用缓存了,但是memcached之类的又要额外安装,我觉得除非你的程序足够优秀,否则多添加一项依赖,别人愿意使用的意愿…
19 Aug 2012·1,812 reads
公司的项目需要用到memcached,操作它用的python库是cmemcached,安装一个软件包本来并不是什么难事,但是这个包问题不少,这里有个项目地址有安装教程:,但是有好多问题: 我也有点搞不懂它到底叫做cmemcached还是py…
31 Jul 2012·2,027 reads
由于公司的开发环境要求搭建在Gentoo上,所以最近接触了一些Gentoo,只是皮毛而已。 首先说说用过一段时间Gentoo的感受吧,前些天,公司给我们几个每人发了一台,1G内存,30GB硬盘,当时不知道做什么用,我直接把默认的Gentoo…
26 Jul 2012·2,923 reads
今早出门没商量好,结果我和室友两人都没带钥匙。还没回去时我还想着,到楼底下按门铃合租的其他人应该还会给开门吧。 到了睡觉的时间,我们就回去了,按了半天的门铃都没人开门,不应该呀,我想门口附近那一对小两口应该会听到吧,昨天听他们折腾到好晚,不…
18 Jul 2012·1,730 reads
最近在写程序时,出现了这样一个需求,查找出字符串中所有指定的关键词,str.find()只能找到一个,我想着标准库中应该有findall之类的函数吧,结果没找到,于是自己实现了一个,代码如下: 使用很简单
28 May 2012·2,968 reads
最近阳光影视和FTP所在的虚拟机主机出了点问题,原先设置的开机自动启动两个虚拟机实例不知道为何失效了,每次停电或者其他情况服务器重启后,需要手动启动虚拟机才行。有时没有及时发现,就会影响服务的使用。今天趁着早起,使用VOD和FTP的用户还少…
14 May 2012·2,083 reads
翻翻账本,已经自己做饭一个多月了,3月25号那天吃自助小火锅,看到他们用的小酒精炉很不错,于是就想买一个,店里卖的贵,网上又要邮费,30多块钱的东西划不来,想起学校附近有个批发杂物的市场,就回去买了。学校不让用大功率电器,酒精炉还是挺方便的…
03 May 2012·1,479 reads