`
san_yun
  • 浏览: 2640001 次
  • 来自: 杭州
文章分类
社区版块
存档分类
最新评论

gevent初步

 
阅读更多

话说gevent也没个logo啥的,于是就摆了这张图= =|||,首先这是一种叫做greenlet的鸟,而在python里,按照官方解释greenlet是轻量级的并行编程,而gevent呢,就是利用 greenlet实现的基于协程的python的网络library,好了,关系理清了。。。

话 说pycon没有白去阿,了解了很多以前不知道的东西,比如说协程,gevent,greenlet,eventlet。说说协程,进程和线程大家平时了 解的都比较多,而协程算是一种轻量级进程,但又不能叫进程,因为操作系统并不知道它的存在。什么意思呢,就是说,协程像是一种在程序级别来模拟系统级别的 进程,由于是单进程,并且少了上下文切换,于是相对来说系统消耗很少,而且网上的各种测试也表明,协程确实拥有惊人的速度。并且在实现过程中,协程可以用 以前同步思路的写法,而运行起来确是异步的,也确实很有意思。话说有一种说法就是说进化历程是多进程->多线程->异步->协程,暂且 不论说的对不对,单从诸多赞誉来看,协程还是有必要理解一下的。

比较惭愧,greenlet没怎么看就直接看gevent,官方文档 还是可以看看的,尤其是源码里的examples都相当不错,有助于理解gevent的使用。

gevent封装了很多很方便的接口,其中一个就是monkey

  1. from gevent import monkey
  2. monkey.patch_all ( )

这样两行,就可以使用python以前的socket之类的,因为gevent已经给你自动转化了,真是超级方便阿。

而且安装gevent也是很方便,首先安装依赖libevent和greenlet,再利用pypi安装即可

  1. sudo apt-get install libevent-dev
  2. sudo apt-get install python-dev
  3. sudo easy-install gevent

然后,gevent中的event,有wait,set等api,方便你可以让某些协程在某些地方等待条件,然后用另一个去唤醒他们。

再就是gevent实现了wsgi可以很方便的当作python的web server服务器使。

最后放送一个我利用gevent实现的一个带有缓存的dns server

 

     # -*- coding: UTF-8 -*-
     
    import gevent
    import dnslib
    from gevent import socket
    from gevent import event
     
    rev=socket.socket(socket.AF_INET,socket.SOCK_DGRAM)
    rev.bind(('',53))
    ip=[]
    cur=0
     
    def preload():
        for i in open('ip'):
            ip.append(i)
        print "load "+str(len(ip))+" ip"
     
    def send_request(data):
        global cur
        ret=rev.sendto(data,(ip[cur],53))
        cur=(cur+1)%len(ip)
     
    class Cache:
        def __init__(self):
            self.c={}
        def get(self,key):
            return self.c.get(key,None)
        def set(self,key,value):
            self.c[key]=value
        def remove(self,key):
            self.c.pop(key,None)
     
    cache=Cache()
     
    def handle_request(s,data,addr):
        req=dnslib.DNSRecord.parse(data)
        qname=str(req.q.qname)
        qid=req.header.id
        ret=cache.get(qname)
        if ret:
            ret=dnslib.DNSRecord.parse(ret)
            ret.header.id=qid;
            s.sendto(ret.pack(),addr)
        else:
            e=event.Event()
            cache.set(qname+"e",e)
            send_request(data)
            e.wait(60)
            tmp=cache.get(qname)
            if tmp:
                tmp=dnslib.DNSRecord.parse(tmp)
                tmp.header.id=qid;
                s.sendto(tmp.pack(),addr)
     
    def handle_response(data):
        req=dnslib.DNSRecord.parse(data)
        qname=str(req.q.qname)
        print qname
        cache.set(qname,data)
        e=cache.get(qname+"e")
        cache.remove(qname+"e")
        if e:
            e.set()
            e.clear()
     
    def handler(s,data,addr):
        req=dnslib.DNSRecord.parse(data)
        if req.header.qr:
            handle_response(data)
        else:handle_request(s,data,addr)
     
    def main():
        preload()
        while True:
            data,addr=rev.recvfrom(8192)
            gevent.spawn(handler,rev,data,addr)
     
    if __name__ == '__main__':
        main()

 

参考:http://www.isnowfy.com/introduction-to-gevent/

分享到:
评论

相关推荐

    Gevent指南.pdf

    标题中提到的“Gevent指南”指明了本文件是关于Gevent库的一个使用指南。Gevent是一个基于libev的Python并发库,它让程序员能够以更简洁的方式处理并发和网络相关任务。它提供的API使得并发编程对Python开发者更加...

    python-gevent-20.9.0.tar.gz

    《Python中的Gevent:协程实现与应用》 在Python编程中,Gevent是一个高效的并发库,它基于Greenlet,并且提供了对协程的支持。本文将深入探讨Gevent的安装、工作原理以及如何在实际项目中应用协程。 1. **Gevent...

    python gevent==21.8.0

    标题“python gevent==21.8.0”指的是Python中的Gevent库的一个特定版本,即21.8.0。这个版本可能包含了性能优化、新功能或对旧有功能的改进。 Gevent是一个基于libev事件库的Python库,它实现了协程(coroutines)...

    模块gevent压缩包

    **模块gevent详解** `gevent`是一款基于Python的并发库,它利用了协同多任务(cooperative multitasking)的概念,让开发者能够以简洁、高效的方式处理并发问题。`gevent`的核心是其绿色线程(greenlet),这是一种...

    gevent和pip的安装包

    在windows下安装gevent的安装包,安装方法很简单。具体参考我在csdn的博客。 http://blog.csdn.net/ruguokeyi110/article/details/47725545

    gevent-21.12.0-cp39-cp39-win_amd64.whl.zip

    标题中的"gevent-21.12.0-cp39-cp39-win_amd64.whl.zip"指示了这是一个与Python相关的库,名为`gevent`,版本号为21.12.0,适用于Python 3.9版本,并且是专为Windows x64(AMD64)架构编译的。`.whl`文件是Python的...

    gevent 1.0.2

    **gevent 1.0.2 知识点详解** `gevent` 是一个非常流行的Python库,专为网络编程和并发操作设计。它利用了`greenlet`库,将线程模型转换为轻量级的协程模型,极大地提高了性能和效率。`gevent 1.0.2`是该库的一个...

    gevent 1.0 for windows

    gevent 1.0 for win32 python 2.7

    gevent-0.13.8.tar.gz

    其中,`gevent`库作为一个强大的工具,为开发者提供了基于协程的并发模型,使得编写高性能、高并发的网络应用变得更为简单。本文将深入探讨`gevent` 0.13.8版本的特性和使用方法。 `gevent` 是一个基于`libev`事件...

    gevent开发指南

    Gevent是一个基于libev事件循环库的Python并发库,由Gevent社区维护。它允许程序员使用Python原生的同步API来编写异步代码,并且能够轻易地处理大量并发连接,特别适合I/O密集型的网络应用。Gevent的API设计简洁,...

    python安装gevent需要的pip文件.zip

    在Python的世界里,`pip`是默认的包管理器,用于安装和管理各种第三方库,如`gevent`。`gevent`是一个基于greenlet的库,它提供了一种高效的并发模型,特别适合于网络I/O密集型应用,如网络爬虫。 首先,让我们深入...

    gevent gz包

    《深入理解Gevent:Python并发框架的奥秘》 Gevent,这个名词在Python的世界里,无疑是一个引人注目的存在。它是一个基于greenlet的并发框架,旨在为Python开发者提供一套简单、高效的异步I/O处理方案。本文将深入...

    gevent-20.12.1-cp36-cp36m-win_amd64.whl.zip

    `gevent-20.12.1-cp36-cp36m-win_amd64.whl.zip`是`gevent`的一个特定版本,适用于Python 3.6(cp36)且基于AMD64架构的Windows系统。这个`.whl`文件是Python的预编译包,用于简化安装过程。 `gevent`的核心是基于...

    Gevent学习指南

    本文档是非常详尽的gevent学习教程,可以使你更深入的了解python的gevent

    gevent 1.0rc2 for windows

    gevent 1.0rc2 for windows

    gevent_WebService.py

    python协程gevent编写的异步web服务器,由python和第三方包gevent,socket编写

    gevent-zeromq, pyzeromq gevent compat lib.zip

    gevent-zeromq, pyzeromq gevent compat lib deprecate !这项工作已经合并到了 pyzmq gevent客户端这个库包装 pyzmq,使它与gevent兼容。 要求pyzmq==2.2.0gevent ( 与 1.0个pre发行版兼容)用法要直接

    Python使用grequests(gevent+requests)并发发送请求过程解析

    5. grequests的引入:grequests是基于gevent和requests的结合体,它允许开发者以非常简单的方式来实现并发请求。grequests在内部使用gevent库来实现非阻塞IO操作,从而达到并发请求的效果。 6. grequests的基本使用...

Global site tag (gtag.js) - Google Analytics