(1)取文件路径
from unipath import Path ofn = 'test.txt' self.cwd = Path(__file__).ancestor(1) ofn_path = Path(self.cwd, ofn)
(2)打印错误堆栈信息
import traceback logger.error('error [%s]'% (traceback.format_exc()))
(3)测试方法用时
from timeit import Timer t1=Timer("test()","from __main__ import test") print t1.timeit(10000) print min(t1.repeat(3,10000))
(3)测试内存回收和使用
import gc , objgraph gc.collect() objgraph.show_most_common_types(limit=50)
(4) 测试用时
before = datetime.datetime.now() 。。。 end = datetime.datetime.now() logger.error('init [%s]'% (end - before))
(5) 网页抓取
import urllib def fetch(url): #logger.error('fetch:%s' % url) content = u'' try: status = urllib.urlopen(url) if status.getcode() == 200: content = status.read() content = unicode(content.strip(), 'utf-8', 'ignore') else: logger.error('fetch error [%s]' % url) except: logger.error('fetch error %s' % traceback.format_exc()) return content
(6) 网页解析
import re def parse_html(self, url, content): # logger.error('url[%s][%s]' % (url,content)) title_pattern = r'<ul class="movie_list">(?P<detail_content>.*?)</ul>' detail_pattern = r'<li>.*?href="(?P<detail_url>.*?)".*?title="(?P<detail_title>.*?)">.*?</li>' list_res = [] res = re.search(title_pattern,content,re.S) if res: detail_content = res.group('detail_content') #logger.error('parse_html:%s' % detail_content) list_res = re.findall(detail_pattern, detail_content, re.S) if not list_res: list_res = []
相关推荐
String类的常用方法 String类是Java语言中最基本的类之一,用于处理字符串。字符串是一个字符序列,Java中字符串是不可变的,即创建后不能被修改。下面是String类的常用方法: 1. equals()方法:用于判断两个字符...
ext 的一些常用方法 ext 的一些常用方法 ext 的一些常用方法
为此,需要掌握安装和配置防病毒软件的常用方法。本文将详细介绍计算机病毒防范的常用方法,并对防病毒软件的安装和配置进行详细的讲解。 一、计算机病毒防范的常用方法 计算机病毒防范的常用方法包括: 1. 部署...
Teamcenter常用方法封装的工具类,包含的方法有获取顶层bomline、创建文件夹、item、工艺等、添加关系、添加数据集、获取首选项中的值、根据Item获取最新版本主属性表单、获取Home文件夹、获取邮箱文件夹、获取New...
一份很全面关于java的常用方法总结,开发时,我们记不了那么多方法,所以这个htm文档很适合大家在开中应用 字符串 1、获取字符串的长度 length() 2 、判断字符串的前缀或后缀与已知字符串是否相同 前缀 startsWith...
SQL Server精华常用方法SQL Server精华常用方法SQL Server精华常用方法SQL Server精华常用方法SQL Server精华常用方法SQL Server精华常用方法SQL Server精华常用方法SQL Server精华常用方法
机器学习在大数据中的常用方法及其重要性.pdf
hibernateTemplate常用方法.htm
C++编程惯用法.高级程序员常用方法和技巧.pdf [C++经典] 我收集的资料,放在这里备份。
StringBuffer类的常用方法.md
C++编程惯用法:高级程序员常用方法和技巧.part2.rar
网站推广29种常用方法.rar网站推广29种常用方法.rar
一些OC常用方法汇集—很重要
证明圆的切线的七种常用方法.pdf
灵敏度分析的详细说明和常用方法灵敏度灵敏度分析的详细说明和常用方法灵敏度分析的详细说明和常用方法灵敏度分析的详细说明和常用方法灵敏度分析的详细说明和常用方法灵敏度分析的详细说明和常用方法灵敏度分析的...
Kotlin语言教程分享以及案例展示和常用方法Kotlin语言教程分享以及案例展示和常用方法Kotlin语言教程分享以及案例展示和常用方法Kotlin语言教程分享以及案例展示和常用方法Kotlin语言教程分享以及案例展示和常用方法...
C++ C++编程惯用法 C++方法和技巧 C++高级程序员 C++编程惯用法.高级程序员常用方法和技巧PDF
第11节 JavaScript数组常用方法及应用.rar第11节 JavaScript数组常用方法及应用.rar第11节 JavaScript数组常用方法及应用.rar第11节 JavaScript数组常用方法及应用.rar第11节 JavaScript数组常用方法及应用.rar第11...
word常用方法+特别的小技巧问:WORD里边怎样设置每页不同的页眉?如何使不同的章节显示的页眉不同? 答:分节,每节可以设置不同的页眉。文件——页面设置——版式——页眉和页脚——首页不同 问:请问word中怎样让...
简单总结可以下Java中String类中的常用方法