`
Hooopo
  • 浏览: 335185 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

网页抓取

    博客分类：
  • Ruby
RubyGitHPFirebugUML 
阅读更多
Firebug + Httpanalyzer + Hpricot + retry...
必要时再用Iconv，net/htttp

貌似这个组合很强大了。。
分享到：
| MongoDB【hello word 系列】
评论
3 楼 yuan 2010-03-17  
有没打算用nokogiri？我记得hpricot已经没人管了。
2 楼 Hooopo 2010-03-17  
jinleileiking 写道
这是抓什么?

抓别人数据。。
1 楼 jinleileiking 2010-03-17  
这是抓什么?
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    网页抓取小工具

    网页抓取小工具，顾名思义，是一种用于获取网页数据的实用软件，它使得学习网站制作的初学者能够轻松地研究和分析其他网站的设计、布局以及所使用的资源。在这个数字化时代，理解并掌握如何有效地从互联网上获取信息...

    c# 网页抓取分析 表格图形生成

    本主题聚焦于利用C#进行网页抓取、数据分析以及表格和图形生成，这些都是现代数据驱动应用的重要组成部分。 首先，我们要理解网页抓取的概念。网页抓取，也称为网络爬虫或数据抓取，是指通过自动化程序从互联网上...

    网页抓取软件(-------)

    网页抓取，也被称为网络爬虫或数据抓取，是一种自动化技术，用于从互联网上大量收集和处理数据。这项技术通常被数据分析师、研究人员、市场营销人员以及网站管理员用来获取特定类型的信息，例如市场趋势、用户行为...

    asp.net 网页抓取技术

    ASP.NET网页抓取技术是一种利用编程手段从互联网上获取数据并进行分析的技能，它能够帮助开发者自动收集、处理和存储网页上的信息。在ASP.NET框架下，网页抓取主要涉及HTTP请求、HTML解析和数据提取等核心概念。本文...

    淘宝网页抓取与统计分析软件

    淘宝网页抓取分析器说明 启动方法—— 将DLL和EXE解压到同一个文件夹，直接运行Exe，打开软件。(运行环境：Windows,DotNet3.5以上环境) 功能说明—— 本软件功能强大，相对于其它网页抓取或爬虫软件的优点，不仅...

    网页抓取工具metastudio

    MetaSeeker是一个Web网页抓取/数据抽取/页面信息提取工具包，能够按照用户的指导，从Web页面上筛选出需要的信息，并输出含有语义结构的提取结果文件（XML文件），众所周知，Web页面显示的信息是给人阅读的，对于机器...

    C++网页抓取源码及例子亲测可用

    标题 "C++网页抓取源码及例子亲测可用" 提供了我们即将讨论的核心主题：使用C++语言进行网页内容的抓取。这通常涉及到网络编程和字符串处理，特别是对于解析HTML文档的部分。C++作为一门强大的系统级编程语言，能够...

    c#网页抓取

    在IT行业中，网页抓取是一项重要的技能，尤其对于数据分析、搜索引擎优化和自动化测试等领域。C#作为.NET框架下的主流编程语言，提供了丰富的库和工具来实现网页抓取。本篇文章将详细探讨C#进行网页抓取的核心知识点...

    [其他类别]WebSpider蓝蜘蛛网页抓取 v5.1_webspider.rar

    "WebSpider蓝蜘蛛网页抓取 v5.1" 是一款网页抓取软件，主要用于自动化地从互联网上搜集和下载信息。"WebSpider"可能是指该软件的名称，而"蓝蜘蛛"可能是其独特的品牌或者功能特征的象征，强调其在网络爬虫领域的特性...

    网页抓取例子

    网页抓取，也被称为网络爬虫或数据抓取，是一种自动化技术，用于从互联网上提取大量数据。在本例中，我们关注的标题是“网页抓取例子”，这表明我们将探讨如何实现一个简单的网页抓取程序。描述部分虽然为空，但我们...

    网页抓取教程.zip

    网页抓取，也被称为网络爬虫或数据抓取，是一种自动化技术，用于从互联网上收集大量信息。在Java EE和Android开发中，网页抓取是一个重要技能，可以帮助开发者获取网站上的结构化数据，如新闻、产品信息、评论等，...

    网页抓取工具-免费使用

    网页抓取工具是一种用于自动化收集互联网上公开信息的软件，对于数据分析、市场研究以及网站维护等领域具有极高价值。"网页抓取工具-免费使用"这一主题揭示了我们今天要讨论的核心——一款可供用户免费使用的网页...

    C++实现网页抓取

    在IT领域，网页抓取（Web Scraping）是一项重要的技术，它允许我们自动化地从互联网上提取大量数据。本教程将介绍如何使用C++语言来实现一个基础的网页抓取程序。C++作为一门强大的系统级编程语言，可以提供高效且...

    java进行网页抓取

    java程序，能进行简单的网页抓取，及数据抓取，里面还有火车采集器的内容

    java网页抓取数据

    Java网页抓取数据是互联网数据挖掘的一个重要领域，它允许开发者通过编程方式获取网页上的信息，从而实现自动化分析、监控或构建智能应用。在Java中，我们通常使用HTTP客户端库和HTML解析工具来实现这一目标。本文将...

    java网页抓取demo

    Java网页抓取是一种技术，主要用于从互联网上自动提取或获取数据。这个"java网页抓取demo"项目提供了实现这一功能的实例代码。项目中的jar包是实现网页抓取的关键依赖库，包括Apache Commons Logging和HTTP Client。...

    Snoopy_PHP网页抓取工具

    Snoopy_PHP网页抓取工具 snoopy是一个php类，用来模仿web浏览器的功能，它能完成获取网页内容和发送表单的任务。

    Java实现网页抓取

    在IT行业中，网页抓取是一项基础且重要的技能，它允许我们自动地从互联网上获取大量信息，进行数据分析、搜索引擎优化、市场研究等用途。在这个Java实现网页抓取的项目中，我们将探讨如何利用Java编程语言来抓取网页...

    OfflineExplorerPortable 网页抓取工具

    **OfflineExplorerPortable 网页抓取工具详解** 在互联网时代，我们经常需要保存或离线查看特定网页的内容，尤其在研究项目、整理资料或无网络环境时。这时，一款强大的网页抓取工具就显得尤为重要。`...

    Java网页抓取数据

    Java网页抓取数据是互联网开发中的一个重要技能，它允许开发者从网页中提取所需的信息，如新闻、产品数据或用户评论，以供进一步分析或利用。本主题主要涵盖以下几个关键知识点： 1. **网络请求库**：在Java中，...

Magicbox
Global site tag (gtag.js) - Google Analytics