- 浏览: 2188652 次
- 性别:
- 来自: 北京
文章分类
- 全部博客 (682)
- 软件思想 (7)
- Lucene(修真篇) (17)
- Lucene(仙界篇) (20)
- Lucene(神界篇) (11)
- Solr (48)
- Hadoop (77)
- Spark (38)
- Hbase (26)
- Hive (19)
- Pig (25)
- ELK (64)
- Zookeeper (12)
- JAVA (119)
- Linux (59)
- 多线程 (8)
- Nutch (5)
- JAVA EE (21)
- Oracle (7)
- Python (32)
- Xml (5)
- Gson (1)
- Cygwin (1)
- JavaScript (4)
- MySQL (9)
- Lucene/Solr(转) (5)
- 缓存 (2)
- Github/Git (1)
- 开源爬虫 (1)
- Hadoop运维 (7)
- shell命令 (9)
- 生活感悟 (42)
- shell编程 (23)
- Scala (11)
- MongoDB (3)
- docker (2)
- Nodejs (3)
- Neo4j (5)
- storm (3)
- opencv (1)
最新评论
-
qindongliang1922:
粟谷_sugu 写道不太理解“分词字段存储docvalue是没 ...
浅谈Lucene中的DocValues -
粟谷_sugu:
不太理解“分词字段存储docvalue是没有意义的”,这句话, ...
浅谈Lucene中的DocValues -
yin_bp:
高性能elasticsearch ORM开发库使用文档http ...
为什么说Elasticsearch搜索是近实时的? -
hackWang:
请问博主,有用solr做电商的搜索项目?
Solr中Group和Facet的用法 -
章司nana:
遇到的问题同楼上 为什么会返回null
Lucene4.3开发之第八步之渡劫初期(八)
在使用Python多年以后,我偶然发现了一些我们过去不知道的功能和特性。一些可以说是非常有用,但却没有充分利用。考虑到这一点,我编辑了一些的你应该了解的Pyghon功能特色。
带任意数量参数的函数
你可能已经知道了Python允许你定义可选参数。但还有一个方法,可以定义函数任意数量的参数。
首先,看下面是一个只定义可选参数的例子
01 def function(arg1="",arg2=""): 02 print "arg1: {0}".format(arg1) 03 print "arg2: {0}".format(arg2) 04 05 function("Hello", "World") 06 # prints args1: Hello 07 # prints args2: World 08 09 function() 10 # prints args1: 11 # prints args2:
现在,让我们看看怎么定义一个可以接受任意参数的函数。我们利用元组来实现。
01 def foo(*args): # just use "*" to collect all remaining arguments into a tuple 02 numargs = len(args) 03 print "Number of arguments: {0}".format(numargs) 04 for i, x in enumerate(args): 05 print "Argument {0} is: {1}".format(i,x) 06 07 foo() 08 # Number of arguments: 0 09 10 foo("hello") 11 # Number of arguments: 1 12 # Argument 0 is: hello 13 14 foo("hello","World","Again") 15 # Number of arguments: 3 16 # Argument 0 is: hello 17 # Argument 1 is: World 18 # Argument 2 is: Again
使用Glob()查找文件
大多Python函数有着长且具有描述性的名字。但是命名为glob()的函数你可能不知道它是干什么的除非你从别处已经熟悉它了。
它像是一个更强大版本的listdir()函数。它可以让你通过使用模式匹配来搜索文件。
1 import glob 2 3 # get all py files 4 files = glob.glob('*.py') 5 print files 6 7 # Output 8 # ['arg.py', 'g.py', 'shut.py', 'test.py']
你可以像下面这样查找多个文件类型:
01 import itertools as it, glob 02 03 def multiple_file_types(*patterns): 04 return it.chain.from_iterable(glob.glob(pattern) for pattern in patterns) 05 06 for filename in multiple_file_types("*.txt", "*.py"): # add as many filetype arguements 07 print filename 08 09 # output 10 #=========# 11 # test.txt 12 # arg.py 13 # g.py 14 # shut.py 15 # test.py
如果你想得到每个文件的绝对路径,你可以在返回值上调用realpath()函数:
01 import itertools as it, glob, os 02 03 def multiple_file_types(*patterns): 04 return it.chain.from_iterable(glob.glob(pattern) for pattern in patterns) 05 06 for filename in multiple_file_types("*.txt", "*.py"): # add as many filetype arguements 07 realpath = os.path.realpath(filename) 08 print realpath 09 10 # output 11 #=========# 12 # C:\xxx\pyfunc\test.txt 13 # C:\xxx\pyfunc\arg.py 14 # C:\xxx\pyfunc\g.py 15 # C:\xxx\pyfunc\shut.py 16 # C:\xxx\pyfunc\test.py
调试
下面的例子使用inspect模块。该模块用于调试目的时是非常有用的,它的功能远比这里描述的要多。
这篇文章不会覆盖这个模块的每个细节,但会展示给你一些用例。
01 import logging, inspect 02 03 logging.basicConfig(level=logging.INFO, 04 format='%(asctime)s %(levelname)-8s %(filename)s:%(lineno)-4d: %(message)s', 05 datefmt='%m-%d %H:%M', 06 ) 07 logging.debug('A debug message') 08 logging.info('Some information') 09 logging.warning('A shot across the bow') 10 11 def test(): 12 frame,filename,line_number,function_name,lines,index=\ 13 inspect.getouterframes(inspect.currentframe())[1] 14 print(frame,filename,line_number,function_name,lines,index) 15 16 test() 17 18 # Should print the following (with current date/time of course) 19 #10-19 19:57 INFO test.py:9 : Some information 20 #10-19 19:57 WARNING test.py:10 : A shot across the bow 21 #(, 'C:/xxx/pyfunc/magic.py', 16, '', ['test()\n'], 0)
生成唯一ID
在有些情况下你需要生成一个唯一的字符串。我看到很多人使用md5()函数来达到此目的,但它确实不是以此为目的。
其实有一个名为uuid()的Python函数是用于这个目的的。
1 import uuid 2 result = uuid.uuid1() 3 print result 4 5 # output => various attempts 6 # 9e177ec0-65b6-11e3-b2d0-e4d53dfcf61b 7 # be57b880-65b6-11e3-a04d-e4d53dfcf61b 8 # c3b2b90f-65b6-11e3-8c86-e4d53dfcf61b
你可能会注意到,即使字符串是唯一的,但它们后边的几个字符看起来很相似。这是因为生成的字符串与电脑的MAC地址是相联系的。
为了减少重复的情况,你可以使用这两个函数。
01 import hmac,hashlib 02 key='1' 03 data='a' 04 print hmac.new(key, data, hashlib.sha256).hexdigest() 05 06 m = hashlib.sha1() 07 m.update("The quick brown fox jumps over the lazy dog") 08 print m.hexdigest() 09 10 # c6e693d0b35805080632bc2469e1154a8d1072a86557778c27a01329630f8917 11 # 2fd4e1c67a2d28fced849ee1bb76e7391b93eb12
序列化
你曾经需要将一个复杂的变量存储在数据库或文本文件中吧?你不需要想一个奇特的方法将数组或对象格转化为式化字符串,因为Python已经提供了此功能。
01 import pickle 02 03 variable = ['hello', 42, [1,'two'],'apple'] 04 05 # serialize content 06 file = open('serial.txt','w') 07 serialized_obj = pickle.dumps(variable) 08 file.write(serialized_obj) 09 file.close() 10 11 # unserialize to produce original content 12 target = open('serial.txt','r') 13 myObj = pickle.load(target) 14 15 print serialized_obj 16 print myObj 17 18 #output 19 # (lp0 20 # S'hello' 21 # p1 22 # aI42 23 # a(lp2 24 # I1 25 # aS'two' 26 # p3 27 # aaS'apple' 28 # p4 29 # a. 30 # ['hello', 42, [1, 'two'], 'apple']
这是一个原生的Python序列化方法。然而近几年来JSON变得流行起来,Python添加了对它的支持。现在你可以使用JSON来编解码。
01 import json 02 03 variable = ['hello', 42, [1,'two'],'apple'] 04 print "Original {0} - {1}".format(variable,type(variable)) 05 06 # encoding 07 encode = json.dumps(variable) 08 print "Encoded {0} - {1}".format(encode,type(encode)) 09 10 #deccoding 11 decoded = json.loads(encode) 12 print "Decoded {0} - {1}".format(decoded,type(decoded)) 13 14 # output 15 16 # Original ['hello', 42, [1, 'two'], 'apple'] - <type 'list'="" style="word-wrap: break-word;"> 17 # Encoded ["hello", 42, [1, "two"], "apple"] - <type 'str'="" style="word-wrap: break-word;"> 18 # Decoded [u'hello', 42, [1, u'two'], u'apple'] - <type 'list'="" style="word-wrap: break-word;">
这样更紧凑,而且最重要的是这样与JavaScript和许多其他语言兼容。然而对于复杂的对象,其中的一些信息可能丢失。
压缩字符
当谈起压缩时我们通常想到文件,比如ZIP结构。在Python中可以压缩长字符,不涉及任何档案文件。
01 import zlib 02 03 string = """ Lorem ipsum dolor sit amet, consectetur 04 adipiscing elit. Nunc ut elit id mi ultricies 05 adipiscing. Nulla facilisi. Praesent pulvinar, 06 sapien vel feugiat vestibulum, nulla dui pretium orci, 07 non ultricies elit lacus quis ante. Lorem ipsum dolor 08 sit amet, consectetur adipiscing elit. Aliquam 09 pretium ullamcorper urna quis iaculis. Etiam ac massa 10 sed turpis tempor luctus. Curabitur sed nibh eu elit 11 mollis congue. Praesent ipsum diam, consectetur vitae 12 ornare a, aliquam a nunc. In id magna pellentesque 13 tellus posuere adipiscing. Sed non mi metus, at lacinia 14 augue. Sed magna nisi, ornare in mollis in, mollis 15 sed nunc. Etiam at justo in leo congue mollis. 16 Nullam in neque eget metus hendrerit scelerisque 17 eu non enim. Ut malesuada lacus eu nulla bibendum 18 id euismod urna sodales. """ 19 20 print "Original Size: {0}".format(len(string)) 21 22 compressed = zlib.compress(string) 23 print "Compressed Size: {0}".format(len(compressed)) 24 25 decompressed = zlib.decompress(compressed) 26 print "Decompressed Size: {0}".format(len(decompressed)) 27 28 # output 29 30 # Original Size: 1022 31 # Compressed Size: 423 32 # Decompressed Size: 1022
注册Shutdown函数
有可模块叫atexit,它可以让你在脚本运行完后立马执行一些代码。
假如你想在脚本执行结束时测量一些基准数据,比如运行了多长时间:
01 import atexit 02 import time 03 import math 04 05 def microtime(get_as_float = False) : 06 if get_as_float: 07 return time.time() 08 else: 09 return '%f %d' % math.modf(time.time()) 10 start_time = microtime(False) 11 atexit.register(start_time) 12 13 def shutdown(): 14 global start_time 15 print "Execution took: {0} seconds".format(start_time) 16 17 atexit.register(shutdown) 18 19 # Execution took: 0.297000 1387135607 seconds 20 # Error in atexit._run_exitfuncs: 21 # Traceback (most recent call last): 22 # File "C:\Python27\lib\atexit.py", line 24, in _run_exitfuncs 23 # func(*targs, **kargs) 24 # TypeError: 'str' object is not callable 25 # Error in sys.exitfunc: 26 # Traceback (most recent call last): 27 # File "C:\Python27\lib\atexit.py", line 24, in _run_exitfuncs 28 # func(*targs, **kargs) 29 # TypeError: 'str' object is not callable
打眼看来很简单。只需要将代码添加到脚本的最底层,它将在脚本结束前运行。但如果脚本中有一个致命错误或者脚本被用户终止,它可能就不运行了。
当你使用atexit.register()时,你的代码都将执行,不论脚本因为什么原因停止运行。
发表评论
-
如何扩展python的logging组件支持json日志输出
2019-01-10 21:57 2315这两天在优化公司一个python的项目,顺便研究了一下如何将 ... -
Java开发者如何正确的使用String,StringBuffer,StringBuilder类
2018-05-30 20:21 1112https://blog.csdn.net/u01045403 ... -
Windows 10环境下安装Python科学计算工具之Anaconda
2018-04-28 18:51 854https://blog.csdn.net/u01045403 ... -
干货来袭之Python3.4如何读写Excel?
2014-12-05 20:17 9651我们都知道在JAVA里,我们可以使用POI来操作Excel文件 ... -
Python处理数据一个小例子
2014-12-01 19:29 2236最近用python(3.2的版本)写了根据特定规则,处理数据 ... -
Django1.7+JQuery+Ajax集成小例子
2014-10-23 20:15 5059Ajax的出现让Web展现了更新的活力,基本所有的语言,都动态 ... -
如何Python3.4使用pexpect来实现SSH登陆
2014-10-22 18:51 6704Pexpect 是 Don Libes 的 Expect 语 ... -
Django1.7如何配置静态资源访问
2014-10-21 16:35 4212Django是非常轻量级的Web框架,今天散仙来看下如何在Dj ... -
Python3.4+Django1.7+SQLite3实现增删改查
2014-10-20 20:01 9558前2篇文章,散仙写了关 ... -
Python3.4+Django1.7简单动态模板例子
2014-10-17 19:15 1689继上篇散仙写的Django入门,这次我们来看看如何在Djang ... -
如何使用Python3.4与Linux shell交互
2014-10-17 17:10 3435使用python来运维linux是 ... -
Python3.4+Django1.7入门
2014-10-16 19:56 3845Django是python里面开源的一个Web框架,下面借用百 ... -
Python3.4网页解析之HTMLParse
2014-10-15 19:31 4033使用python将网页抓取下 ... -
Python3.4网页抓取之编码异常
2014-10-15 18:00 2350使用Python抓取网页的时候,有时候我们会解析出现异常,这时 ... -
Python3.4模拟登陆例子
2014-10-15 14:53 3699有时候我们的抓取项目时需要登陆到某个网站上,才能看见某些内容的 ... -
python桌面整理小助手
2014-10-09 20:04 1933每到月末,桌面上基本 ... -
Python3.4操作文件目录
2014-09-24 19:38 2520编程语言对文件系统的 ... -
如何在cenots6.5中安装Python3.4
2014-09-23 18:10 2945linux系统(散仙的是centos6.5)自带的python ... -
Python3.4模拟实现生产者消费者模式
2014-09-12 19:52 1481散仙使用python3.4模拟实现的一个生产者与消费者的例子, ... -
Python3.4线程入门
2014-09-12 19:35 4682比较成熟的编程语言,基本上都有对线程的支持,而python也不 ...
相关推荐
小小知识点敬请欣赏,谢谢大家,不喜欢不要喷我,我就是来混一下的
通过学习和实践这些Python编程知识点,开发者不仅可以掌握编程基础,还能深入理解如何利用Python解决实际问题,设计出有趣的小程序。在实际项目中,每个标签可能对应一个具体的小程序,如"是男人就勇敢点.exe"可能是...
Python是一种广泛应用于各种领域的编程语言,特别是在...在这个过程中,他们将学习到Python的基础语法、函数的使用、面向对象编程、异常处理,以及可能的特定库如Pygame的使用方法,这些都是Python编程的重要知识点。
知识点七:Python 实现 在本资源中,我们使用 Python 语言来实现最小二乘法三维坐标拟合平面。Python 语言是一种常用的编程语言,提供了许多有用的库来实现计算机视觉和机器学习任务。 知识点八:平面方程式 平面...
自己总结的一些python知识
【python入门必背】python入门基础知识点合集、python基础知识背记手册 主要内容概要: 第1章 走进 Python. 第2章 Python语言基础 第3章 运算符与表达式 第4章 流程控制语句 第5章 列表与元组 第6章 字典与集合 第...
python爬虫:Python 爬虫知识大全; python爬虫:Python 爬虫知识大全; python爬虫:Python 爬虫知识大全; python爬虫:Python 爬虫知识大全; python爬虫:Python 爬虫知识大全; python爬虫:Python 爬虫知识...
在本项目中,我们探索的是一个使用Python编程语言编写的简单无界面小游戏。这个小程序旨在帮助初学者熟悉Python基础,并通过解决算术题目来积累积分,实现用户账户管理。下面我们将详细讨论涉及的知识点。 首先,`...
【Python小游戏】是一种利用Python编程语言以及其游戏开发库Pygame构建的小型应用程序。Python以其简洁易懂的语法和丰富的库支持,成为了初学者和专业开发者制作游戏的热门选择。Pygame是Python的一个模块集合,提供...
Python知识点Python知识点Python知识点Python知识点Python知识点Python知识点Python知识点Python知识点Python知识点Python知识点Python知识点Python知识点Python知识点Python知识点
在本压缩包“pythonGame”中,包含了丰富的Python编程资源,特别适合于学习者进行Python课程设计和小作业实践。这个包重点展示了Python在游戏开发中的应用,通过乒乓球游戏和滑雪游戏的源代码,我们可以深入理解如何...
通过一系列巧妙设计的游戏挑战,你将逐渐掌握Python的基础知识,包括变量、数据类型、条件语句、循环以及函数等核心概念。 每一关都充满了趣味性和挑战性,让你在解决问题的过程中不断思考,提升逻辑思维能力。无需...
《Python知识点背诵手册》是一份详细整理的资料,旨在帮助初学者系统地理解和掌握Python的核心概念与技能。下面我们将深入探讨Python的一些关键知识点。 1. **基础语法** - 变量与数据类型:Python支持整型(int)、...
Python语言区分大小写,并且在Python 3中,input()函数取代了Python 2中的raw_input()函数。这些是Python基础知识,对于初学者来说是必须掌握的。 此外,文件中还包含了Python的内置函数(BIF)和内置模块(__...
这8个小项目涵盖了Python基础知识的多个方面,旨在帮助学习者巩固函数使用,深化概念理解,并通过实践提高编程技能。下面将逐一介绍这些项目及其涉及的知识点: 1. **lect08_模拟掷骰子** 在这个项目中,我们将...
"pathon小游戏"可能是一个拼写错误,实际上应该是"Python小游戏"。这些小游戏是学习Python编程的好方式,因为它们通过实际操作帮助学生理解编程概念。 标题中的“pathon小游戏”可能是指一系列基于Python编写的简单...
Python知识手册-V3.1.pdf Python知识手册-V3.1是由阳哥出品的Python学习手册,总结了Python基础知识、数据分析、数据可视化等内容。本手册适合具有一些Python基础知识的读者阅读,涵盖了Python语言的简单介绍、...
Python是一种高级编程语言,以其简洁明了的语法...通过实践这样的小程序,不仅可以巩固Python知识,还能提升问题解决能力和项目管理技巧。在学习过程中,不断探索和应用新知识,是成为一名优秀Python开发者的必经之路。
本教程《超完整Python基础入门知识教程Python从入门到进阶知识大全》包含了1885页的丰富内容,旨在全面教授Python开发的基础知识,帮助初学者快速掌握Python编程,并逐步提升至进阶水平。 一、Python入门基础 1. ...
Python知识自动问答系统的研究与实现 Python知识自动问答系统的研究与实现 Python知识自动问答系统的研究与实现 Python知识自动问答系统的研究与实现 Python知识自动问答系统的研究与实现 Python知识自动问答系统的...