在论坛上面看到一个爬虫工具Arachnid Web Spider Framework，看了一下源代码，相当的简练和漂亮。
所以决定在这个上面做点东西出来
1.实现除html以外的页面的检索和分析，例如wap网页等，做成基于手机的搜索引擎。
2.把tomcat，j2sdk等嵌入到代码中，并嵌入简单的纯java的数据库，例如hsqldb，完善爬虫功能。
3.制作一个图形换的管理控制台，可以对抓取的范围，关键字的整理等进行配置。
4.对数据冗余进行处理。
还有一点很重要的就是要增加多线程处理，使得程序的运行效率更高。
分享到：
相关推荐
一个基于Java的web spider框架.它包含一个简单的HTML剖析器能够分析包含HTML内容的输入流.通过实现Arachnid的子类就能够开发一个简单的Web spiders并能够在Web站上的每个页面被解析之后增加几行代码调用。
《Arachnid源码解析与网络实验探索》 在信息技术领域，开源软件和共享资源扮演着至关重要的角色，它们促进了技术的快速发展和创新。今天，我们将深入探讨一个名为"Arachnid"的项目，它是网络实验的重要参考资料。...
**Arachnid:一个用Java实现的Web爬虫应用** 蛛形纲，或者在这个语境中，是指一种软件工具，即Arachnid，它是一个基于Java的Web爬虫应用程序。Web爬虫，也称为网络抓取器或网络爬行器，是一种自动浏览互联网并收集...
ORM 允许开发者使用面向对象的方式来操作数据库，无需关心底层 SQL 查询的编写。而 OGM 更进一步，它不仅处理对象与表的映射，还支持对象之间的关联，比如多对一、一对多、多对多等关系。 **Arachnid4Laravel 功能*...
《PyPI官网下载：arachnid-0.1.6.tar.gz——深入解析Python库与分布式系统》 PyPI（Python Package Index）是Python开发者的重要资源库，它提供了丰富的Python库供用户下载和使用。在本次讨论中，我们关注的是一个...
Arachnid:是一个基于Java的web spider框架.它包含一个简单的HTML剖析器能够分析包含HTML内容的输入流.通过实现Arachnid的子类就能够开发一个简单的Web spiders并能够在Web站上的每个页面被解析之后增加几行代码调用...
Spiders 管理网络，Arachnid 管理 Neo4J Graphs。 这个库很大程度上基于 Louis-Philippe Huberdeau 在他的所做的出色工作。 主要区别在于，此 OGM 允许您定义关系对象以及节点对象，从而使您可以非常轻松地将属性...
通过使用协程，`Arachnid`能够更有效地管理大量并发请求，从而在爬取网页时显著提高速度和效率。 **网络爬虫基础** 网络爬虫是一种自动遍历互联网并抓取网页内容的程序。它们通常用于数据挖掘、搜索引擎索引以及...
作为一个开源项目，它的源代码可供公众查看、使用和改进，这鼓励了社区协作和持续发展。 在提供的文件列表中，我们可以看到几个关键的PHP文件，它们是构成一个基本CMS的核心组件： 1. **php.php**：通常，这个文件...
7. **Arachnid**: 一个基于Java的Web蜘蛛框架，提供了简单的HTML解析器，用户可以通过实现其子类轻松创建自己的Web爬虫。 8. **LARM**: 针对Jakarta Lucene的搜索解决方案，LARM能为文件、数据库和Web站点建立索引...
3. **蜘蛛(Spider)**：在爬虫领域中，“蜘蛛”常被用来形容爬取网页的程序，它们沿着网页上的链接“爬行”，搜集信息。Arachnid框架中的“蜘蛛”是指用户自定义的类，它们定义了如何启动、如何解析HTML、如何跟随...
蜘蛛网爬行器 该库将对在给定网站上找到的所有唯一内部链接进行爬网，直到指定的最大页面深度。 该库使用和库来站点页面并提取与SEO相关的主要信息，包括： title ， h1 elements ... "zrashwani/arachnid": "dev-mas
#### 三、基础使用 - **启动爬虫**：通过`Roboter`类启动爬虫，示例如下： ```java public static void main(String[] args) throws Exception { Roboter robby = new Roboter(); robby.setStartURL(new URL(...
您可以在市场上找到最好的软式Dart或硬式Dart的主要来源，以及日常使用的最佳电子Dart板。 评论包括Arachnid Cricket Pro系列，dartslive 200S，sunlight blast 6000等。 从Dart，我们只审查最好的作品，包括...
触发陷阱艾达源代码＃＃内容关于艾达许可证信息关于本文档Adafruit 文件爱特梅尔图书馆Arduino 库艾达项目文件EEPROM地址创建新模式构建固件的注意事项##1。 关于艾达Ada 是由 Triggertrap (triggertrap.... Arachnid
-在U-Cursos上执行部分配置的高级操作，并在使用LaTeX和MathJax进行激活后的图像修改和激活。 Versión1.3.0.0-降价！ 可扩展性，适用于降价促销。 Versión1.3.0.1-Previas Practicalizacioneshabíanroto MathJax...
基于https://stackapps.com/questions/8287/2019-april-fools-day-retro-theme源代码：https://github.com/Alexrgs/Retro_StackOverflow特别感谢/感谢https://github.com / a-stone-arachnid / Time-Travel-Mode ...
git clone https://github.com/arachnid/sggc.git npm install 用法 在contracts目录中实施一个或多个contracts 。 用truffle test进行相应的truffle test ; 例如，如果您实现了排序，请运行： truffle test test...