`

【Python真的很强大】开发简易在线搜索

阅读更多
  •  需求如下:开发一个简易的搜索引擎(即提供查询关键字的服务)
  • 程序思路及模型: python构建一个Http Server;提供用户输入的一个静态页面;用户提交请求后,把请求再转发到其他站点,最后把结果(动态页面)传给用户
  • 下面是程序原型模型(使用python 2.7编写,没有使用第三方library/module),没有任何优化,主要演示Http Server构建过程,Html Parser使用,调用本地浏览器进行体验等。
  • #为方便测试,所有代码都编写于一个文件
    #没有保存到本地数据库(sqllite)
    #没有递归下载所有数据
    import os,subprocess
    import sys
    import SimpleHTTPServer
    import SocketServer
    import logging
    import cgi
    from HTMLParser import HTMLParser
    import urllib2,urllib
    
    htmlContent='''<!DOCTYPE html>
    <html>
    	<head>
                    <meta http-equiv="Content-Type" content="text/html;charset=utf-8">
    		<style type="text/css">
    			.myform {
    				COLOR: #ffffff; BACKGROUND-COLOR: skyblue; BORDER-RIGHT: rgb(0,0,0) 1px dashed; BORDER-TOP: rgb(0,0,0) 1px dotted; BORDER-LEFT: rgb(0,0,0) 1px dotted; BORDER-BOTTOM: rgb(0,0,0) 1px dotted
    			}
    			li a {
      			 display:block;
    			}
    		</style>
    	</head>
    <body>
    <div class="myform">
    	
    <form action="/" method="post">
    	Search Keyword:	 <input type="text" name="keyword" value="UIC"><input type="submit" value="Submit">
    </form>
    
    </div>
    
    <ul>
       search:result
    </ul>
    
    <p>The above is parts of result for searching.</p>
    
    </body>
    </html>
    '''
    
    def openUrlInDefaultBrowser(url):
    	if sys.platform=='win32':
    		os.startfile(url)
    	elif sys.platform=='darwin':
    		subprocess.Popen(['open', url])
    	else:
    		try:
    			subprocess.Popen(['xdg-open', url])
    		except OSError:
    				print 'Please open a browser on: '+url
    
    
    
    if len(sys.argv) > 2:
        PORT = int(sys.argv[2])
    elif len(sys.argv) > 1:
        PORT = int(sys.argv[1])
    else:
        PORT = 8899
    
    
    
    
    class ServerHandler(SimpleHTTPServer.SimpleHTTPRequestHandler):
    
        def do_GET(self):
            logging.warning("======= GET STARTED =======")
            logging.warning(self.headers)
            self.wfile.write(htmlContent.replace('search:result',''))
             
    
        def do_POST(self):
            logging.warning("======= POST STARTED =======")
            logging.warning(self.headers)
            form = cgi.FieldStorage(
                fp=self.rfile,
                headers=self.headers,
                environ={'REQUEST_METHOD':'POST',
                         'CONTENT_TYPE':self.headers['Content-Type'],
                         })
            logging.warning("======= POST VALUES =======")
            for item in form.list:
                logging.warning(item)
            logging.warning("\n")
            q=form.getvalue("keyword")
            if q:
            	p = MyHTMLParser()
            	f = urllib2.urlopen('http://uic.edu.hk/en/component/search/?searchword=%s&searchphrase=all&Itemid=108' % (q))
            	html = f.read()
            	p.feed(html)
            	total = len(p.urls)
            	item = 0
            	urls = []
            	while item < total:
            		url = "<li><a href=\"%s%s\">%s</a></li>" % ("http://uic.edu.hk",p.urls[item].strip(),p.titles[item].strip())
            		urls.append(url)
            		item += 1
            	p.close()
            	self.wfile.write(htmlContent.replace('UIC',q).replace('search:result',''.join(urls)))
            else:
            	self.wfile.write(htmlContent.replace('search:result',''))
    
            	
    
    class MyHTMLParser(HTMLParser):
    
      def __init__(self):
        HTMLParser.__init__(self)
        self.recording = 0
        self.findHref = 0
        self.urls = [] 
        self.titles = []
      def handle_starttag(self, tag, attrs):
        if tag == 'dt':
          for name, value in attrs:
            if name == 'class' and value == 'result-title':
              print name, value
              self.recording = 1
              self.findHref = 0
        if tag == 'a' and self.recording == 1:
        	for name, value in attrs:
        		if name == 'href':
        			print name,value
        			self.urls.append(value)
        			self.recording = 1
        			self.findHref = 1
              
      def handle_endtag(self, tag):
        if tag == 'dt':
          self.recording -= 1 
        if tag == 'a' and self.findHref == 1:
        	self.findHref -= 1 
    
      def handle_data(self, data):
        if self.findHref:
          self.titles.append(data)
                  	        	
    Handler = ServerHandler
    httpd = SocketServer.TCPServer(("", PORT), Handler)
    
    print "author:sunflowerbbs@gmail.com from UC Studio, Python http server version 1.0 (for testing purposes only)"
    
    
    openUrlInDefaultBrowser("http://%s:%d" % ("localhost", PORT))
    httpd.serve_forever()
    
     
分享到:
评论

相关推荐

    使用Python开发的一一个简易的学生信息管理系统.zip

    总的来说,这个简易学生信息管理系统展示了Python在开发实用应用程序上的强大能力。通过学习和实践此类项目,开发者不仅可以深入理解Python语言,还能掌握数据库管理、GUI编程和文件操作等相关技术,为今后的软件...

    Python实现简易图书管理系统

    【Python实现简易图书管理系统】 在IT领域,Python是一种流行的编程语言,因其简洁的语法和强大的功能而备受青睐。本项目是使用Python实现的一个简易图书管理系统,它具备基本的图书信息管理功能,包括添加、查询、...

    python简易人事管理系统.rar

    本篇文章将详细解析一个基于Python3实现的简易人事管理系统,该系统利用Pycharm开发环境,并结合MYSQL数据库进行数据存储。 一、系统概述 这个简易人事管理系统旨在提供基础的人事管理功能,包括用户登录、员工信息...

    Maya python简易教程

    Maya Python 简易教程 Maya Python 是一种基于 Python 语言的 Maya 脚本语言,用于自动化 Maya 的操作和开发插件。下面是 Maya Python 简易教程的知识点: 1. Maya Python 简介 Maya Python 是用 Python 语言包裹...

    Python简易界面跳转

    而PyQt和wxPython则功能更强大,外观更美观,适合开发复杂的商业应用。 2. **Tkinter库介绍**:Tkinter是Python的默认GUI库,它基于Tk库。通过Tkinter,我们可以创建各种控件,如按钮、文本框、标签等,并定义它们...

    基于Django和Python的Web开发.pdf

    《基于Django和Python的Web开发》这一标题揭示了文档将会围绕Django和Python这两种技术进行深入探讨,特别关注它们在Web开发领域的应用。文档将会基于具体案例(如简易博客系统的创建)来展示如何使用这两项技术构建...

    Python开发的PyGame实现简易画板_Demo

    【Python PyGame实现简易画板】\n\nPython作为一个强大的编程语言,因其简洁易懂的语法和丰富的库支持,常被用于开发各种类型的应用程序,包括游戏和图形用户界面(GUI)。PyGame是Python的一个库,它为创建游戏和...

    Python实用工具,Python和PyQt5开发框架,实现简易浏览器.pdf

    Python 实用工具,Python 和 PyQt5 开发框架,实现简易浏览器 本文主要介绍了使用 Python 和 PyQt5 开发框架实现简易浏览器的方法。该浏览器具有基本的浏览功能,包括显示网页、设置导航栏、地址栏、标签页等。下面...

    基于python的简易物联网系统设计实现

    在本文中,我们将深入探讨如何使用Python编程语言设计和实现一个简易的物联网(IoT)系统。Python因其简洁明了的语法和丰富的库支持而成为物联网应用开发的热门选择。以下是一些关键知识点: 1. **Python编程基础**...

    数字图像处理Python制作简易软件系统

    在本项目中,"数字图像处理Python制作简易软件系统"是一个使用Python编程语言实现的简单图像处理应用程序。这个系统基于PyQt图形用户界面(GUI)框架进行开发,为用户提供了一个直观且易于操作的界面来执行基本的...

    python简易聊天软件

    【Python简易聊天软件】是一个基于Python编程语言实现的初级聊天应用程序。这个项目旨在提供一个基础的聊天室功能,用户可以通过它进行简单的文本交流。虽然由于其对开发环境的高度依赖,导致该软件在非特定环境下...

    Python简易飞机大战游戏

    在本项目中,"Python简易飞机大战游戏"是一款利用Python编程语言和Pygame库开发的小型游戏。Pygame是Python中一个广泛使用的模块,专为创建2D游戏和多媒体应用程序而设计。它提供了丰富的功能,包括图形绘制、事件...

    基于python实现使用Python制作简易数字累加器源码

    通俗来讲,Python 是一种少有的、既简单又功能强大的编程语言,它注重的是如何解决问题而不是编程语言的语法和结构。 2.Python的应用范围 Python 在通用应用程序、自动化插件、网站、网络爬虫、数值分析、科学计算...

    python简易画图软件

    总的来说,"Python简易画图软件"是一个很好的实践项目,它将理论与实践相结合,帮助初学者在愉快的实践中掌握Python编程和Pygame库的使用。通过完成这个项目,学习者不仅可以提升编程技能,还能培养解决问题和创新...

    基于PyQt的自制简易浏览器(Python).zip

    【基于PyQt的自制简易浏览器】是一个Python编程项目,它利用了PyQt这一强大的图形用户界面库来构建一个简易的Web浏览器。PyQt是Python语言中的一个模块,它提供了对Qt库的接口,Qt库是C++开发的,广泛用于创建跨平台...

    基于python实现使用Python制作简易数字累加器源码分享

    通俗来讲,Python 是一种少有的、既简单又功能强大的编程语言,它注重的是如何解决问题而不是编程语言的语法和结构。 2.Python的应用范围 Python 在通用应用程序、自动化插件、网站、网络爬虫、数值分析、科学计算...

    使用python(全栈)开发的简易博客论坛,框架:django.zip

    在本项目中,我们讨论的是一个使用Python全栈开发的简易博客论坛,其核心框架是Django。Django是一个高效且强大的Web开发框架,它遵循模型-视图-控制器(MVC)的设计模式,但稍有不同,Django将其称为模型-视图-模板...

    用Python编了一个简易高尔夫游戏

    在本项目中,"用Python编了一个简易高尔夫游戏",我们可以深入探讨Python编程在游戏开发中的应用,以及如何创建一个基础的小游戏。Python语言以其简洁明了的语法和丰富的库资源,成为初学者和专业开发者青睐的编程...

    MayaPython简易教程.doc

    【Maya Python简易教程】 Maya Python教程是一个适合初学者的指南,旨在让学习者快速掌握在Maya中使用Python语言的基本技能。教程注重实践,通过简单易懂的例程来展示Python在Maya中的实际应用,尤其适合没有编程...

    Python-Python隐写工具用来在图像中隐藏图像或文本

    Python是一种强大的编程语言,尤其在数据处理和科学计算领域中广泛应用。在图像处理方面,Python提供了许多库,如PIL(Python Imaging Library)和OpenCV,使得开发者能够进行复杂的图像操作,包括一种特殊的技术...

Global site tag (gtag.js) - Google Analytics