`
xtuhcy
  • 浏览: 143287 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

java开源爬虫gecco 发布1.0.8版本

阅读更多

gecco 1.0.8 发布了。

1.0.8版本主要做了如下修改:

  1. GeccoEngine增加loop方法,支持不循环抓取。gecco默认将改为采用不循环抓取
    2.支持移动端的UserAgent,通过GeccoEngine.mobile(true)设置
    3.支持配置初始化地址,自动扫描classpath根目录下的starts.json文件
    4.HttpResponse增加释放raw的方法
    5.GeccoEngine增加close方法,爬取结束后可以释放downloader下载资源

gecco是一款易用的轻量化网络爬虫。十分的容易上手。

主要特征:

  1. 简单易用,使用jquery风格的选择器抽取元素
    2.支持页面中的异步ajax请求
    3.支持页面中的javascript变量抽取
    4.利用Redis实现分布式抓取,参考gecco-redis
    5.支持结合Spring开发业务逻辑,参考gecco-spring
    6.支持htmlunit扩展,参考gecco-htmlunit
    7.支持插件扩展机制
    8.支持下载时UserAgent随机选取
    9.支持下载代理服务器随机选取

1
4
分享到:
评论

相关推荐

    java爬虫Gecco工具抓取新闻实例

    Java爬虫Gecco工具是Java领域中用于网页抓取的一个简单易用的框架,它借鉴了jQuery的选择器语法,使得开发者能方便地定位到需要抓取的网页元素。本文将详细解析如何使用Gecco工具抓取新闻实例,包括配置依赖、编写...

    酱茄WordPress小程序开源版源码 v1.0.8

    【酱茄WordPress小程序开源版源码 v1.0.8】是一个专为WordPress用户设计的开源小程序解决方案。这款小程序由“酱茄”团队精心打造,旨在利用WordPress的强大内容管理系统和REST API技术,实现WordPress网站与微信小...

    Ionize 基于CodeIgniter开源CMS v1.0.8

    **Ionize 基于CodeIgniter开源CMS v1.0.8** Ionize是一个功能丰富的内容管理系统(CMS),专为构建动态网站而设计。它以其用户友好的后台管理界面和多语言支持而受到赞誉。Ionize的核心是建立在CodeIgniter框架之上...

    Firefox火狐浏览器官方1.0.8-mac版本dmg安装包

    1.0.8版是该软件的一个早期版本,虽然现在已经有更先进的版本,但这个经典版本仍然有其历史价值和特定用户群体的需求。 在macOS系统中,`.dmg`文件是一种常见的磁盘映像格式,用于分发软件。Firefox 1.0.8.dmg文件...

    javaparser-1.0.8-src.zip

    这个"javaparser-1.0.8-src.zip"文件是一个包含JavaParser源代码的压缩包,版本为1.0.8。在本文中,我们将深入探讨JavaParser的功能、用途以及如何使用其源代码。 **JavaParser的功能与用途** 1. **语法解析**:...

    jfreechart1.0.8

    总结,JFreeChart 是 Java 开发者进行数据可视化的强大工具,它的1.0.8版本更加成熟和完善。无论你是数据分析人员还是软件开发者,都可以借助 JFreeChart 快速构建出美观且功能强大的图表,有效地展示和传达数据信息...

    java 1.8.0版本

    Java JDK 1.8.0是Java开发工具集的一个重要版本,它包含了Java语言的核心库、编译器、运行时环境、调试工具和其他必要的组件,是开发和运行Java应用程序的基础。这个版本的JDK在2018年发布,具体为1.8.0_171更新版,...

    jfreechart 1.0.8 演示+例子源码

    总之,JFreeChart是一个强大且灵活的Java图表库,即便在1.0.8这样的旧版本中,仍然包含了许多实用的功能和丰富的示例,对于希望学习数据可视化的Java开发者来说,这是一个不可多得的学习资源。通过这个压缩包中的...

    Spring-Generator1.0.8_gt_java1.8_40_general.rar

    《Spring-Generator1.0.8:Java代码生成利器》 Spring-Generator1.0.8是一个基于Java的高效代码生成工具,专为提升开发效率而设计。它要求用户的Java环境版本至少为1.8_40,以确保工具的正常运行。如果你当前的Java...

    苹果CMS超级播放器专业版V1.0.8无授权全开源.zip

    超级播放器专业版v1.0.8,苹果cms用户用的最多,内置六大主流播放器,支持各种格式的视频播放,主要功能支持【主要功能在每一个播放器内核中都相同】 主要功能支持【主要功能在每一个播放器内核中都相同】: ...

    HisiPHP开源框架 1.0.8.zip

    HisiPHP基于ThinkPHP5 Layui开发的一套免费的WEB开源框架,默认集成了权限管理、模块管理、插件管理、钩子管理、数据库管理等常用功能,以方便开发者快速构建自己的应用,HisiPHP框架支持一键在线升级功能,扩展的...

    Ionize 基于CodeIgniter开源CMS v1.0.8.zip

    Ionize 基于CodeIgniter开源CMS简介 Ionize基于CodeIgniter开源CMS是一个强大内容管理系统CMS。拥有用户友好,易于使用的后台管理界面。 支持多种语言,基于CodeIgniter框架开发,一个简单并且强大的PHP开发框架。...

    jfreechart-1.0.8a 最新版本

    这个1.0.8a 版本是最新的更新,提供了改进的性能、新特性以及对先前版本的修复。在这一版本中,用户可以期待更稳定和功能丰富的体验。 **源码分析** JFreeChart 的源码是完全开放的,这为开发者提供了深入理解图表...

    jfreechart-1.0.8a

    JFreeChart 是一个广泛使用的开源Java库,版本1.0.8a提供了丰富的图表功能,适用于各种数据可视化需求。它是一个免费的数据统计插件,特别适合开发人员用于生成各类报表,如柱状图、饼图等,从而帮助用户直观地理解...

    antlr-java-parser-1.0.8.jar

    官方版本,亲测可用

    mpich2-1.0.8

    这里提到的是一个用于并行计算环境搭建的工具——MPICH2的1.0.8版本。MPICH2是MPI(Message Passing Interface)的一个实现,它是一个开源的、高度可移植的并行编程库,广泛应用于分布式内存系统,如集群计算机。...

    Firefox火狐浏览器官方1.0.8-win32版本exe安装包

    这款1.0.8-win32版本是专为32位Windows操作系统设计的,提供了稳定的浏览体验。下面将详细介绍这个安装包以及与之相关的知识点。 1. **Firefox浏览器的历史**: Firefox的开发始于2002年,由Mozilla社区推出,作为...

    antlr-java-parser-1.0.8-sources.jar

    官方版本,亲测可用

    2023苹果CMS超级播放器专业版V1.0.8无授权全开源

    json对接教程: 1.json接口只支持get请求类型,具体配置方法后台有写自行查看 2.json配置默认回源设置了.m3u8,.mp4意味着资源地址中包含这两个字符串就不会进行解析而是直接播放 3.如果说有一些资源地址中携带.m3...

Global site tag (gtag.js) - Google Analytics