我这里讲的不是怎么使用搜索引擎,而是怎么让程序利用搜索引擎来搜集网址,这有什么用?很有用!网上动辄有人叫卖网址数据库,如发布软件网址、邮件地址、论坛网址、行业网址,这些网址是怎么来的呢?不可能是人手工收集而来的,都是让程序利用搜索引擎取到的,如果您需要某类网址信息数据,就跟我来一起研究一下,非常简单。
本文采用Java语言写成,以google和百度搜索引擎为对象。
我们要利用google、百度搜索引擎的搜索规则中的两条,关键字搜索和inurl搜索。什么是inurl搜索,就是你所要搜索的网址中本身带有的关键字,比如http://www.xxx.com/post.asp ,这个网址就含有post.asp这样的关键字,在搜索引擎中填写规则是 inurl:post.asp,这是收集网址的关键,因为很多网址本身会带有特定的信息,比如软件发布的网页网址信息中多含有 publish、submit、tuijian这样的信息,如http://www.xxx.com/publish.asp,这样的网址多是发布信息的网页,在结合网页中本身可能含有的关键字,就可以用搜索引擎搜索出结果,然后我们利用程序将结果取回,对HTML页面进行分析,去除没有用的信息,将有用的网址信息写入文件或者数据库,就可以给其它应用程序或者人来使用了。
第一步,用程序将搜索结果取回,先以百度为例,比如我们要搜索软件发布的网页,关键字采用 “软件发布 版本 inurl:publish.asp",先登录百度看看,将关键字写入,然后提交,在地址栏就会看到 http://www.baidu.com/s?ie=gb2312&bs=%C8%ED%BC%FE%B7%A2%B2%BC+%C8%ED%BC%FE%B0%E6%B1%BE+inurl%3Apublish.asp&sr=&z=&cl=3&f=8&wd=%C8%ED%BC%FE%B7%A2%B2%BC+%B0%E6%B1%BE+inurl%3Apublish.asp&ct=0 ,中文关键字全都变成编码了,没有关系,我们在程序中直接用中文也是可以的,其中多个关键字用+号相连,去掉一些没有用的信息,我们可以把地址优化成 http://www.baidu.com/s?lm=0&si=&rn=20&ie=gb2312&ct=0& wd=软件发布+版本+inurl%3Apublish%2Easp&pn=0&cl=0,其中rn表示一页显示多少个结果,wd=表示你要搜索的关键字,pn表示从第几条开始显示,这个pn将是我们程序循环取结果的变量,每20条循环一次。我们用Java写的程序来模拟这个搜索的过程,用到的关键类为 java.net.HttpURLConnection,java.net.URL,先写一个提交搜索的class,关键代码如下:
详细内容请到这里看:http://www.javadingle.com
分享到:
相关推荐
这个"搜索引擎大揭密"的项目不仅展示了爬虫的基本工作原理,还揭示了如何使用Java技术构建一个简易的搜索系统,这对于学习和理解相关技术具有重要意义。在实际应用中,还需要考虑更多因素,如反爬策略、性能优化、...
"JAVA基于网络爬虫的搜索引擎设计与实现" 本文档主要讨论了基于Java的网络爬虫搜索引擎的设计和实现。以下是从该文档中提炼出的相关知识点: 一、搜索引擎概述 * 搜索引擎是指通过网络爬虫或蜘蛛来收集、处理和...
在搜索引擎的实现中,Java通常用于处理数据抓取、索引构建、查询解析和结果排序等核心功能。它的强大性能和跨平台特性使得Java成为构建搜索引擎后端的理想选择。 JSP则是Java在Web开发中的一个重要组件,它允许...
通过这个项目,学习者不仅可以掌握Java编程,还能深入了解搜索引擎的工作流程,以及如何利用Java生态系统中的各种工具和框架解决实际问题。这对于提升Java开发技能和对搜索引擎技术的理解大有裨益。
Java全职搜索引擎Lucene是一个强大的开源工具,用于创建高效的全文索引和搜索功能。它由Apache软件基金会维护,被广泛应用于各种网站和应用程序中,以提供快速、精准的站内搜索体验。本教程将深入讲解如何使用Lucene...
本项目基于Java语言,提供了搜索引擎的实现,包括源码,可以帮助我们深入理解搜索引擎的工作原理和开发过程。 首先,我们要了解搜索引擎的基本架构,通常包括爬虫(Crawler)、索引(Indexer)、查询处理器(Query ...
- **使用Java类实现核心逻辑**:包括外部搜索引擎处理模块、数据预处理模块、数据终处理模块以及Robot网络检索程序均可以通过Java类来实现。 - **使用JSP技术展示搜索结果**:JSP技术可以用来生成动态的HTML页面,将...
8. **性能优化**:为了处理大规模数据,可能需要对算法和数据结构进行优化,比如使用位图(Bitset)进行高效查询,或者利用Lucene等成熟的全文搜索引擎库。 9. **测试与评估**:项目中应包括单元测试和集成测试,...
搜索引擎通常利用所谓的“蜘蛛程序”(又称网络爬虫)主动抓取网络上的页面信息,并定期更新数据以扩大搜索范围和服务质量。因此,搜索引擎成为用户获取信息的最重要工具之一,它使得浏览网页和寻找资料的过程更加...
Java编写的搜索引擎网络爬虫是一种用于自动化收集互联网信息的程序,它通过模拟浏览器行为来抓取网页内容。在这个名为“snoics-reptile2.0-src”的源码压缩包中,我们可以找到一个用Java实现的网络爬虫框架,旨在...
搜索引擎是通过自动化程序(也称网络爬虫)遍历互联网上的网页,收集并存储信息,然后通过高效的检索算法快速回应用户的查询请求。JAVA作为一种广泛使用的编程语言,以其跨平台、面向对象和强大的网络处理能力,成为...
### 基于Java技术的智能化搜索引擎的研究与设计 #### 概述 本文深入探讨了基于Java技术构建的智能化搜索引擎的研究与设计,特别是在Web信息挖掘领域中的应用。随着互联网的迅猛发展,网络上的信息量呈爆炸式增长,...
总的来说,Java Ese局域网搜索引擎项目是一个集成了多种软件工程知识的实际案例,它涵盖了从需求分析到系统设计,再到代码实现的全过程。对于想要提升自己在软件开发领域技能的学生或从业者,这是一个极好的学习材料...
总的来说,Java报表打印和搜索引擎都是复杂且技术含量高的领域。jxl和iText为Java开发人员提供了强大的工具,用于创建专业级别的报表。而搜索引擎开发则需要深入理解信息检索理论,并具备解决性能问题的能力。学习并...
在这个毕业设计中,我们将会探索一个简单的搜索引擎的实现,涵盖了关键技术及其应用。 首先,搜索引擎的基本流程包括网页抓取、预处理、索引构建和查询处理四个阶段。在“毕业设计源码-搜索引擎(1.0版)”中,我们...
标题中的“用java做的网络蜘蛛搜索引擎”指的是使用Java编程语言实现的一种网络爬虫技术,它能够在互联网上自动遍历网页,搜集信息,并构建一个可搜索的数据库。这种搜索引擎的工作原理类似于真实的蜘蛛在网中穿梭,...
【标题】:“带有蜘蛛搜索程序的搜索引擎” 搜索引擎是互联网上不可或缺的信息检索工具,而蜘蛛搜索程序(也称为网络爬虫或网页抓取机器人)则是搜索引擎背后的重要技术之一。这种程序通过自动化的方式遍历互联网上...
基于Java的搜索引擎设计与实现,涉及到的关键技术包括网络机器人(Spider)、索引与搜索、以及Web服务器。 1. **搜索引擎系统结构** - **搜索引擎系统概述**:搜索引擎通常由三大部分组成:网络爬虫(Spider)、...