最近写了个Python爬虫，记录一下学到的东西

1. urllib2 是针对文本的 urllib 是针对二进制文件的
2. 下载文件最简单的写法
   

   urllib.urlretrieve(url, filePath + fileName)

3. 如果需要访问非英文页面文字，自行 decode
   

   html.decode('euc-jp').encode('utf-8')

4. 使用 BeautifulSoup 处理 html 非常方便，但是在 Jython 下速度超级慢！
5. 可以直接使用正则在 BeautifulSoup 中查找需要的标签
   

   links = soup.findAll('a', href=re.compile('^.+?$') 

6. try except else 的应用
7. 强制抛出异常 raise
8. 使用格式化文本实现数字补零
   

   fileName = '%03d.jpg' %(time)

9. 新建文件夹
   

   if not os.path.isdir(filePath):
               os.mkdir(filePath)

10. 字符串和数字无法相加 需要讲数字转化为字符串 str(num)
11. cmp 可以用来比较两个字符串，完全相同返回 0
12. # -*- coding: utf-8 -*- 非常重要，不光影响代码中的注释，还会影响到处理文本。起初忘记加这个，导致日文无法正常处理。

评论

5 楼 sunny3super 2012-07-30  

是的，python 爬虫的部分，我也做过记录：
http://www.yihaomen.com/article/python/210.htm (这是爬 CSDN 的内容)
还有一个记录下载的，必须登录先：
http://www.yihaomen.com/article/python/216.htm

4 楼 小白·菜 2010-02-26  

慢慢来，现在还只是针对两三个网站抓取特定资源。
慢慢扩展。

3 楼 chenzehe 2010-02-26  

我是来看二楼的

2 楼 lsc20051426 2010-02-24  

LZ,不用使用代理么？应该把设置代理的部分也加上

1 楼 tlze 2010-02-22  

谢谢经验分享，这个要收藏起来认真学习。