`
dazuiba
  • 浏览: 130813 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

Autoweb -- 编写&分享你的web抓取器

    博客分类:
  • ruby
阅读更多
起因:

业余工作中需要一些数据采集工作,  发现这种事情特点是: 逻辑简单/容易出错,  并且重复性工作很高. 

搞了几个抓取器后, 总算总结了一些规律, 把他们抽取成了一个framwork. 看看谁能用着就那取用.

下面我一步步介绍autoweb的使用:

1.  安装
gem install autoweb
     安装前需要安装以下包:
    *curl
    * wget
    * hpricot
注意: 我只在mac 和 linux环境上测试过,   window上如有问题, 请mail我

2.  看教程&例子
教程
     *  http://github.com/dazuiba/autoweb
     *  http://dazuiba.iteye.com
例子   
    http://github.com/dazuiba/autoweb/tree/master/commands/
分享到:
评论

相关推荐

    PyPI 官网下载 | autoweb-0.0.313.tar.gz

    《PyPI官网下载 | autoweb-0.0.313.tar.gz——探索Python自动化Web测试库》 PyPI(Python Package Index)是Python开发者的重要资源库,它提供了丰富的第三方Python库,使得开发者能够方便地下载、安装和分享代码。...

    AutoWeb建站王 v6.0

    AutoWeb建站王是一款.NET开发的智能建站系统。AutoWeb建站王 v6.0 更新日志:增加二维码模块,输入网址即可生成二维码美化后台界面调整导航栏目,方便用户管理网站内容优化网站管理权限功能优化网站推广栏目,提供各...

    AutoWeb检查器「AutoWeb Inspector」-crx插件

    这个扩展是为了帮助识别网页上的对象而构建的。你可以很容易地识别一个对象的发现者的属性,只是... ...它应该为您提供可以在AutoWeb脚本管理器中输入的对象的ID,类和其他可识别信息。 支持语言:English

    网站自动模拟器(AutoWeb)(c#源码)

    ) <br>使用说明: 可以采用函数式编写命令来实现你所需的自动化功能, 函数严格区分大小写, 语句之间以分号隔开。 函数说明: 1.ClickButtonByID(参数) 功能:模拟鼠标点击网页中的按钮 ...

    AutoWeb Inspector-crx插件

    语言:English 构建此扩展名是为了帮助识别网页上的对象。 您只需...即可轻松识别对象的查找器属性。...它应该为您提供有关对象的ID,类和其他可识别的信息,然后可以在AutoWeb脚本管理器中输入该信息。

    asp自动开通Web控件源码

    在这个特定的场景下,`AutoWeb` 类可能包含了上述所有配置Web服务的功能,如创建目录、设置权限、定义默认文档等。 在实际应用中,开发者可以通过实例化`AutoWeb`类,调用其方法来自动化这些过程,例如: ```...

    详解CentOS的SVN服务器搭建与自动部署全过程

    在`post-commit`文件中,编写自动更新web目录的脚本,例如: ```bash export LANG=zh_CN.UTF-8 echo "hello world" >> /tmp/svn.log /usr/bin/svn update /data/wwwroot/yourWebDir --username autoweb --password ...

    rails操作.docx

    通过`rails generate`命令,可以自动生成控制器、模型、视图等相关文件,例如创建一个名为`autoweb`的应用,只需执行`rails generate controller Autoweb`,Rails会自动创建相关文件,开发者只需要填充具体业务逻辑...

    ruby和rails简介

    在创建新项目`rails autoweb`后,我们可以进一步操作数据库,如创建表,然后Rails会根据这些数据库结构生成模型、控制器和视图,从而快速构建出一个完整的Web应用程序。 总的来说,Ruby和Rails的组合为Web开发提供...

    AutoWeb建站王源代码

    AutoWeb建站王是一款.NET开发的智能建站系统。 AutoWeb建站王 v6.0 更新日志: 增加二维码模块,输入网址即可生成二维码 美化后台界面 调整导航栏目,方便用户管理网站内容 优化网站管理权限功能 优化网站推广栏目,...

    autoweb:自动建立网路应用程式

    从 chrome 浏览器(必须是 chrome )的控制台的 Network 上的找到某个请求, 右键复制为curl(bash)格式(Copy as cURL(bash)), 然后粘贴到你的python脚本的第一行(注意是第一行), 然后按下组合建[ctrl+alt+shift+w], ...

    界面漂亮的网站建设 网页设计公司 ASP+ACCESS仿站源码

    3. **ASP(Active Server Pages)**:ASP是微软开发的一种服务器端脚本环境,用于生成动态Web页面。它允许开发者使用VBScript或JScript等脚本语言,结合HTML、CSS和JavaScript来构建功能丰富的网站应用。 4. **...

    sql server 2005 数据库的复制说明

    操作步骤为:对象资源管理器 -> 右击SQL实例 -> 属性 -> 安全性 -> 服务器身份验证 -> 选择“SQL Server和Windows”。 8. **服务器相互注册**: - 使用SQL Server Management Studio,在视图中点击“注册服务器”...

    企业电子商务平台设计优化研究论文.doc

    WSDM和CMU2WEB关注网站的可用性和用户体验,而Autoweb是一个支持开发过程的辅助工具,提高了开发效率和实用性。 3. **开发方法的现状与挑战** 尽管已有多种开发方法,但尚未有一种方法能像早期的结构化分析设计...

    E路顺风-服装鞋帽标准版V2.0

    4. **AutoWeb.exe**:这个名字暗示这可能是一个自动化网络工具,可能与自动同步库存、自动发布商品到电商平台或者自动获取在线订单等功能有关。在现代零售业中,这种自动化集成能够提高效率,减少人为错误。 总的来...

    网络会员制营销分析.doc

    网络会员制营销的先驱包括PC Flowers & Gifts.com、AutoWeb.com等,但亚马逊(Amazon.com)在1996年的“联合”行动使其成为该领域的标志性企业,通过向会员网站支付佣金的形式推动了这一模式的广泛应用。 3. **成功...

Global site tag (gtag.js) - Google Analytics