HCrawler 项目介绍

hanyuanbo

浏览: 185271 次
性别:
来自: 深圳

最近访客更多访客>>

DamonDomino

abcd2010

den253176

cj19920801

博主相关

博客

微博

相册

留言

关于我

文章分类

社区版块

存档分类

博客分类：

爬虫

lucene 搜索引擎

最近学习了下爬虫，而且有很多开源的基于java的爬虫项目，自己对java有些些兴趣，决定在之后的一段时间内写个简单的爬虫，想实现跟Heritrix这样的项目一样的效果确实很难，做个简单的，实现对某个网站上所有资源的下载，保存到本地，便于分析(如Lucene建立索引来实现搜索引擎等)。

首先确定下需要的东西和大致计划：

HttpClient 4 和 HTMLParser2.0 首先实现单线程的抓取。今明两天争取搞定。 20101224

熬了三天，终于搞了个雏形出来，不过可以开始快速抓取网页了。不过考虑的没有像Heritrix那样周到。界面截图如下：

附件中有我的这个的源代码，大概1300行。 20101227

HTMLParser-2.0-SNAPSHOT-bin.zip (323.5 KB)
下载次数: 35

httpcomponents-client-4.0.3-bin.zip (2 MB)
下载次数: 36

httpcomponents-core-4.1-bin.zip (2.4 MB)
下载次数: 36

HCrawler.rar (45.3 KB)
下载次数: 29

查看图片附件

分享到：

搜索引擎的原理与发展趋势 | Linux 下可以装的软件

2010-12-24 10:40
浏览 992
评论(0)
论坛回复 / 浏览 (0 / 1425)
分类:互联网
查看更多

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

YOLO算法-城市电杆数据集-496张图像带标签-电杆.zip: YOLO系列算法目标检测数据集，包含标签，可以直接训练模型和验证测试，数据集已经划分好，包含数据集配置文件data.yaml，适用yolov5,yolov8,yolov9,yolov7,yolov10,yolo11算法；包含两种标签格:yolo格式（txt文件）和voc格式（xml文件），分别保存在两个文件夹中，文件名末尾是部分类别名称; yolo格式：<class> <x_center> <y_center> <width> <height>，其中： <class> 是目标的类别索引（从0开始）。 <x_center> 和 <y_center> 是目标框中心点的x和y坐标，这些坐标是相对于图像宽度和高度的比例值，范围在0到1之间。 <width> 和 <height> 是目标框的宽度和高度，也是相对于图像宽度和高度的比例值；【注】可以下拉页面，在资源详情处查看标签具体内容；

(177406840)JAVA图书管理系统毕业设计(源代码+论文).rar: JAVA图书管理系统毕业设计(源代码+论文) JAVA图书管理系统毕业设计(源代码+论文) JAVA图书管理系统毕业设计(源代码+论文) JAVA图书管理系统毕业设计(源代码+论文) JAVA图书管理系统毕业设计(源代码+论文) JAVA图书管理系统毕业设计(源代码+论文) JAVA图书管理系统毕业设计(源代码+论文) JAVA图书管理系统毕业设计(源代码+论文) JAVA图书管理系统毕业设计(源代码+论文) JAVA图书管理系统毕业设计(源代码+论文) JAVA图书管理系统毕业设计(源代码+论文) JAVA图书管理系统毕业设计(源代码+论文) JAVA图书管理系统毕业设计(源代码+论文) JAVA图书管理系统毕业设计(源代码+论文) JAVA图书管理系统毕业设计(源代码+论文) JAVA图书管理系统毕业设计(源代码+论文) JAVA图书管理系统毕业设计(源代码+论文) JAVA图书管理系统毕业设计(源代码+论文) JAVA图书管理系统毕业设计(源代码+论文) JAVA图书管理系统毕业设计(源代码+论文) JAVA图书管理系统毕业设计(源代码+论文) JAVA图书管理系统毕业设计(源代

(35734838)信号与系统实验一实验报告: 内容来源于网络分享，如有侵权请联系我删除。另外如果没有积分的同学需要下载，请私信我。

YOLO算法-椅子检测故障数据集-300张图像带标签.zip: YOLO系列算法目标检测数据集，包含标签，可以直接训练模型和验证测试，数据集已经划分好，包含数据集配置文件data.yaml，适用yolov5,yolov8,yolov9,yolov7,yolov10,yolo11算法；包含两种标签格:yolo格式（txt文件）和voc格式（xml文件），分别保存在两个文件夹中，文件名末尾是部分类别名称; yolo格式：<class> <x_center> <y_center> <width> <height>，其中： <class> 是目标的类别索引（从0开始）。 <x_center> 和 <y_center> 是目标框中心点的x和y坐标，这些坐标是相对于图像宽度和高度的比例值，范围在0到1之间。 <width> 和 <height> 是目标框的宽度和高度，也是相对于图像宽度和高度的比例值；【注】可以下拉页面，在资源详情处查看标签具体内容；

基于小程序的新冠抗原自测平台小程序源代码（java+小程序+mysql+LW）.zip: 系统可以提供信息显示和相应服务，其管理新冠抗原自测平台小程序信息，查看新冠抗原自测平台小程序信息，管理新冠抗原自测平台小程序。项目包含完整前后端源码和数据库文件环境说明：开发语言：Java JDK版本：JDK1.8 数据库：mysql 5.7 数据库工具：Navicat11 开发软件：eclipse/idea Maven包：Maven3.3 部署容器：tomcat7 小程序开发工具：hbuildx/微信开发者工具

YOLO算法-俯视视角草原绵羊检测数据集-4133张图像带标签-羊.zip: YOLO系列算法目标检测数据集，包含标签，可以直接训练模型和验证测试，数据集已经划分好，包含数据集配置文件data.yaml，适用yolov5,yolov8,yolov9,yolov7,yolov10,yolo11算法；包含两种标签格:yolo格式（txt文件）和voc格式（xml文件），分别保存在两个文件夹中，文件名末尾是部分类别名称; yolo格式：<class> <x_center> <y_center> <width> <height>，其中： <class> 是目标的类别索引（从0开始）。 <x_center> 和 <y_center> 是目标框中心点的x和y坐标，这些坐标是相对于图像宽度和高度的比例值，范围在0到1之间。 <width> 和 <height> 是目标框的宽度和高度，也是相对于图像宽度和高度的比例值；【注】可以下拉页面，在资源详情处查看标签具体内容；

(171674830)PYQT5+openCV项目实战：微循环仪图片、视频记录和人工对比软件源码: 内容来源于网络分享，如有侵权请联系我删除。另外如果没有积分的同学需要下载，请私信我。

新建文本文档.docx: 新建文本文档.docx

hw06.zip: hw06

3. Kafka入门-安装与基本命令: 3. Kafka入门-安装与基本命令

燃气管道施工资质和特种设备安装改造维修委托函.docx: 燃气管道施工资质和特种设备安装改造维修委托函.docx

The state of AI 2024.pdf: AI大模型研究相关报告

lab02.zip: lab02

Unity视频插件AVPro的Win端2.2.3: 仅供学习使用,其他用途请购买正版资源AVPro Video Core Windows Edition 2.2.3 亲测可用的视频播放插件,能丝滑播放透明视频等.

建设工程消防验收现场指导意见表.docx: 建设工程消防验收现场指导意见表.docx

MVIMG_20241222_194113.jpg: MVIMG_20241222_194113.jpg

五相电机双闭环矢量控制模型-采用邻近四矢量SVPWM-MATLAB-Simulink仿真模型包括：（1）原理说明文档（重要）：包括扇区判断、矢量作用时间计算、矢量作用顺序及切时间计算、PWM波的生成: 五相电机双闭环矢量控制模型_采用邻近四矢量SVPWM_MATLAB_Simulink仿真模型包括：（1）原理说明文档（重要）：包括扇区判断、矢量作用时间计算、矢量作用顺序及切时间计算、PWM波的生成；（2）输出部分仿真波形及仿真说明文档；（3）完整版仿真模型：包括邻近四矢量SVPWM模型和完整双闭环矢量控制Simulink模型；资料介绍过程十分详细，零基础手把手教学，资料已经写的很清楚

YOLO算法-锡罐-牙罐-盖子打开数据集-179张图像带标签-锡罐-牙罐-盖子打开.zip: YOLO系列算法目标检测数据集，包含标签，可以直接训练模型和验证测试，数据集已经划分好，包含数据集配置文件data.yaml，适用yolov5,yolov8,yolov9,yolov7,yolov10,yolo11算法；包含两种标签格:yolo格式（txt文件）和voc格式（xml文件），分别保存在两个文件夹中，文件名末尾是部分类别名称; yolo格式：<class> <x_center> <y_center> <width> <height>，其中： <class> 是目标的类别索引（从0开始）。 <x_center> 和 <y_center> 是目标框中心点的x和y坐标，这些坐标是相对于图像宽度和高度的比例值，范围在0到1之间。 <width> 和 <height> 是目标框的宽度和高度，也是相对于图像宽度和高度的比例值；【注】可以下拉页面，在资源详情处查看标签具体内容；

java毕设项目之ssm基于JSP的乡镇自来水收费系统+jsp(完整前后端+说明文档+mysql+lw).zip: 项目包含完整前后端源码和数据库文件环境说明：开发语言：Java 框架：ssm，mybatis JDK版本：JDK1.8 数据库：mysql 5.7 数据库工具：Navicat11 开发软件：eclipse/idea Maven包：Maven3.3 服务器：tomcat7

最近访客 更多访客>>