`
xtuhcy
  • 浏览: 142596 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Gecco框架典型案例—闲逛APP

阅读更多

Gecco开源爬虫框架是2015年12月31日发布的,发布以来在易用性、可扩展性上得到了大家的肯定。目前在github上已经有230+的star,100+的fork。那么,Gecco这个新的爬虫框架在实际应用中的表现如何呢?为了让用户放心使用Gecco框架,Gecco团队发布了一款使用Gecco爬虫框架开发的APP——闲逛。这款应用更多的是用来验证Gecco框架的易用性、稳定性、可扩展性。任何脱离实际应用的框架都是耍流氓。

闲逛应用抓取了京东、苏宁易购、天猫、什么值得买等10多个主流电商和导购平台,经过数据清洗和聚合实现了如下功能:

  • 【历史新低】实时获取电商价格动态,历史新低谁买谁赚
  • 【值得买】全网什么值得买信息全收录
  • 【9.9包邮】天猫9.9包邮实时更新
  • 【优惠券】收集全网优惠券信息

闲逛应用的爬虫部分主要使用了Gecco的核心和Gecco-Spring的扩展框架,由于规模还不大,并没有使用Gecco-Redis分布式爬虫,由于考虑到效率问题也没有使用Gecco-HtmlUnit扩展框架。下一步引入更多电商网站的抓取后将会使用Gecco-Redis扩展框架进行分布式抓取,以验证Gecco-Redis的可靠性。

闲逛应用的爬虫部分已经做了7*24小时的稳定性测试,今后,Gecco的升级都会先在闲逛应用上做好测试后再进行版本的发布。

APP目前只有Android客户端。可以通过点击这里下载,也能通过扫描下面的二维码进行下载,有兴趣的朋友可以安装使用。 闲逛

1
1
分享到:
评论

相关推荐

    【兰圃闲逛阅读答案】荔林闲逛阅读答案.docx

    【兰圃闲逛阅读答案】荔林闲逛阅读答案.docx

    AI模块技术框架1

    AI模块技术框架1是关于构建智能体(AI)行为的一种设计模式,主要涉及状态管理和状态机的概念。在人工智能领域,这种框架常用于游戏AI或复杂系统中,使AI能够根据环境变化灵活地执行一系列动作。 核心类是这个框架...

    闲逛

    "闲逛"这个标题可能是在暗示我们正在探索或研究与机器人技术相关的JavaScript应用。在这个名为"botgazing-master"的压缩包文件中,我们可以期待找到一个关于构建、理解和分析机器人系统的JavaScript项目或者库。 ...

    大学生网络闲逛行为本土量表、现状评价及干预对策.docx

    《大学生网络闲逛行为本土量表、现状评价及干预对策》的研究主要关注了当代大学生在网络空间中的非目标性、无目的的行为,即网络闲逛行为。这种行为在当今数字化时代日益普遍,对大学生的学习生活产生了深远影响。...

    bars-backgrounds:让我们在太空闲逛

    标题“bars-backgrounds:让我们在太空闲逛”暗示着这是一个关于创建动态背景效果的项目,可能与网页设计或用户界面的视觉元素有关。这个项目很可能使用JavaScript来实现一种模拟太空环境的滚动条或背景效果,带给...

    东南亚电商巨头Shopee的养成攻略.pdf

    Shopee 的产品服务范围遍布东南亚,与它的其他竞争对手不同,它的 APP 进行了本土化定制,根据每个服务的国家或者地区制定出符合用户使用习惯的 APP,但大体框架一致,只有小部分功能或者入口有所区别。 用户分析 ...

    Random-Old-Stuff:一些随机学习项目或闲逛

    - **Express.js**:一个轻量级的Node.js web应用框架,用于快速搭建web服务。 7. **前端框架和库** - **Bootstrap**:流行的前端UI框架,提供响应式布局和预设样式。 - **Sass/LESS**:CSS预处理器,增加变量、...

    tree-talk:在默克尔森林中的一棵树,您可以在那里闲逛并交谈

    树谈默克尔森林中的一棵树,您可以在那里闲逛并交谈这是什么? Tree-Talk是一个讨论的论坛,主要是pubsub部分。 将线程/帖子发送给其他用户没有涉及服务器,但是有一个信令服务器可以帮助同级发现彼此。 Tree-Talks...

    nodejs-fun:只是在节点周围闲逛并表达

    Node.js 有着庞大的开发者社区,提供了数以万计的开源库和框架,如 Express.js(Web 应用框架)、MongoDB(NoSQL 数据库驱动)等,丰富了 Node.js 的应用场景。 通过 "nodejs-fun" 项目,我们可以学习到如何使用 ...

    codewarsBot:codewarsBot是非官方的Discord机器人,旨在使您在Discord上闲逛时可以提升Codewars的使用体验!

    ) codewarsBot 是一个非官方的Discord 机器人,旨在提升您在 Discord 上闲逛时的 Codewars 体验! :rocket: 命令和功能!?getuserinfo <user> 返回指定用户的信息。 !?getkatainfo <valid> 返回指定的 kata 信息。 !...

    数学之美番外篇:平凡而又神奇的贝叶斯方法

    ——拉普拉斯记得读本科的时候,最喜欢到城里的计算机书店里面去闲逛,一逛就是好几个小时;有一次,在书店看到一本书,名叫贝叶斯方法。当时数学系的课程还没有学到概率统计。我心想,一个方法能够专门写出一本书来...

    chatmosphere-app:我们是一群友好的人,致力于一个开源项目,以使非正式的视频通话更加有趣和动态

    我们错过了一个自发组织的人群一起在一张大桌子旁闲逛的动态。 酒吧中的大桌子,那里发生了很多讨论,笑话,令人安心的谈话,乌托邦和想法。 借助chatmosphere,您可以移动和放大该区域,并听到附近的人的声音更大...

    M Farm RPG Assets Pack 1.3

    闲逛|散步|跑步|持有物品|使用工具|拉起|浇水 6个带有4个方向动画的工具 斧头|镐|喙|锄头|水壶|篮子 4个NPC,有4个方向动画: 闲逛|散步 所有角色都带有面部肖像 7个NPC,4个方向动画: 闲逛|散步 2个大型Tilemap...

    dungeon_generator:我现在只是在闲逛,但这最终将变成一个更严肃的项目

    【标题】 "dungeon_generator:我现在只是在闲逛,但这最终将变成一个更严肃的项目" 暗示了一个开发者正在构建一个地牢生成器,这可能是一个游戏开发或者模拟应用的一部分。地牢生成器是一种算法,用于创建随机且有趣...

    中国多媒体音箱市场年度分析报告.doc

    在品牌格局方面,闲逛者凭借其强大的综合能力,包括技术研发和大规模生产,成为市场的领头羊。创新作为历史悠久的音箱品牌,凭借自主研发的技术和精良的产品设计,尤其是在声卡和中高端音箱领域的表现,拥有稳定的...

    Android代码-通过贝塞尔曲线绘制出的魔炫背景

    在闲逛一个图片社区时看到这张图片,个人对炫酷的东西比较敏感(视觉肤浅),本来想下载一下这个 App 看一下实际效果,可是没找到。心有不甘,于是分析了一下,感觉实现起来不会太难,自己也花点时间实现了效果,...

    dexy-experiments:一个供实验性 dexy 项目闲逛的地方

    Dexy 支持 JavaScript 作为其一部分插件和过滤器的语言,这使得它能够处理 Web 开发相关的任务,比如处理 JSON 数据或者与前端框架集成。标签 "JavaScript" 指示了在这个实验存储库中,可能有针对 JavaScript 开发者...

    AkavacheExplorer:在 Akavache 缓存中闲逛的实用程序

    阿卡瓦奇探险家 此应用程序是的开发人员实用程序,允许您以不同的格式直观地挖掘 Akavache 缓存的内容。 Akavache Explorer 保证它不会写入缓存并忽略 TTL,因此它对于检查应用程序的缓存非常有用,而不必担心它会...

    c语言 进程调度算法

    3. 就绪队列ready_queue不为空,调度就绪队列中第一个进程运行,否则,从闲逛队列idleprocess中调度闲逛进程运行。 4. 在运行过程中,当遇到阻塞,则该进程插入到阻塞队列block_queue中,且将该进程从ready_queue中...

    赵强_微信购物首页改版用户调研1

    首先,报告指出在主要的电商平台中,微信购物和京东APP的用户主要动机是寻找推荐商品和优惠信息,而无明确目的的闲逛用户相对较少。相比之下,淘宝APP的用户动机分布更为均衡,表明淘宝在满足用户多样化需求方面做得...

Global site tag (gtag.js) - Google Analytics