开始学Python,就看看urllib模块，然后参考网上的一些资料，自己动手写一个，新手完全不顾效率和程序的美观，只想试下。最难的部分在于正则，看了一些资料，还是不会，只好凑合使用，莫见笑~
'''
Created on Apr 22, 2010
@author: Leyond
'''
import urllib
import re
def downloadpage(url_hi ='http://hi.baidu.com/',user ='codedeveloper', blogUrl = '/blog/item/809ad16011b3196c0d33fa5f.html'):
url = url_hi +user+ blogUrl
nFail =0
while nFail < 3:
try:
sock = urllib.urlopen(url)
htmlSource = sock.read()
#htmlContent = re.findall(r"<div id=\"m_blog\".*?>",htmlSource,re.I)
# print htmlContent
htmlSourceNew = htmlSource.replace("\n"," ")
htmlContent = re.findall(r"<div id=\"m_blog\".*?<\/div><\/td><\/tr><\/table>",htmlSourceNew,re.I)
user += '/%s' % (blogUrl[11:])
myfile = file(user,'w')
myfile.write("<html><body>"+htmlContent[0]+"</body></html>")#保存有效部分
myfile.close()
urls = re.findall(r"var.*pre.*?/blog/item/.*?html",htmlSource,re.I)
if(len(urls)==1):
blogUrl = re.findall(r"/blog/item/.*?html",urls[0],re.I)
htmlUrl = 'http://hi.baidu.com/' + user + blogUrl[0]
print htmlUrl
downloadpage(blogUrl = blogUrl[0])#递归你所有的文章
else:
break
sock.close()
return
except:
nFail += 1
print 'download blog fail: %s' % (blogUrl)
downloadpage()
用之前，需要在文件所在目录新建一个目录，例如我的博客就是codedeveloper,使用这段程序，需要更改两个参数：
downloadpage(user = "yours",blogUrl = '/blog/item/yournewestblogurl.html')
其中user那里指的是你的用户名，yournewestblogurl说的是你最新那篇博文的地址~
等我进一步学习，我在慢慢改善~ 比如使用线程，wget下载等，还有就是处理图片问题。
分享到：
相关推荐
- 自动备份脚本：编写Python脚本定期备份文件或数据库。 - 网络监控工具：监测网络速度、DNS查询响应时间等。 6. **游戏开发**： - 简单的棋盘游戏：如井字游戏、五子棋，使用pygame库实现。 - 2D平台跳跃游戏...
它不仅支持国内主流的博客平台，如百度空间、新浪博客、和讯博客等，还兼容一些个人博客系统，如F2Blog、PJBlog、Z-Blog等。在使用过程中，软件会提供相应的URL地址提示，避免用户在选择博客类型时感到困惑。 其次...
它为开发者和企业提供了一个在云端存储和检索大量数据的平台，适用于各种类型的数据存储场景，如网站静态资源托管、大数据分析、媒体处理和个人数据备份等。 ### BOS核心特性 1. **分布式存储**：BOS基于分布式...
个人博客gitspace生成 工具 : pelican markdown 书写方式 : 构建markdown 文档 (.md) sh 一些shell脚本封装 shell shell 脚本练习 python_test python 脚本 motor 是一个分布式的更新新浪脚本工具 split_file 是用于...
根据教程描述，应该参考悦光阴博客来安装Elasticsearch，并且参照百度经验安装Python。 安装好Elasticsearch和Python之后，接下来需要安装两个Python包：mongo-connector和对应Elasticsearch版本的文档管理器。文档...
1. **百度应用引擎(BAE)**: BAE是百度提供的一个云端开发环境，它为开发者提供了包括服务器、数据库和各种开发工具在内的全套服务，支持PHP、Python、Java等多种语言，便于快速构建和部署Web应用。 2. **WordPress*...
理想情况下，该工具将通过利用快照的强大功能用作云备份解决方案。 如果您不熟悉快照，以开始使用。 该工具不适用于没有静默功能的文件系统，ext4 和 xfs 是很好的例子。 对于 Windows 支持，需要实施 VSS 提供程序...
这篇博客文章可能是关于如何自定义和使用Eclipse的注释模板的教程。 Eclipse的注释模板分为三种类型： 1. **类注释模板**：当你在类定义前添加注释时，如`public class MyClass {`之前，会使用这种模板。 2. **...
6. **数据备份与恢复**：系统应具备定期备份数据库和快速恢复数据的能力，以防止数据丢失。 7. **插件扩展**：可通过安装插件增加更多功能，如评论系统、统计分析、社交媒体分享等。 在ASP开发中，常见的技术框架有...
1首页 博客 学院 下载 图文课 论坛 APP 问答 商城 VIP会员 ...写博客 小程序 消息7 ...下载首页 精品专辑 我的资源 上传资源赚积分 已下载 我的收藏 下载帮助 ...MATLAB 2019A 破解版百度云链接(已亲测20190405) ...