`

给站长们分享个抓取新闻类的脚本

阅读更多

直接上代码,

 

Groovy写的,一般的网站,都可以爬了,如果哪位phper想重写,偶建议还不如装个jdk6和groovy1.7(无所谓,主要是因为偶PHP差点)

 

注释实例都有的

 

站长们,感兴趣的看下子呵

 

偶已经用这个抓取了10g图片,10w条文章了……比较恐怖

还好用

 

BS:不要轻易爬像http://www.cxdq.com/这样的网站,等死你

 

BS ag:下回再分享一个PHP的CMS和E-shop,打算做成站与站之间,用户共享,信息互相可检索的

咱现在也可以慢慢蚕食康盛的市场啊!


大家如果觉得有啥子改进,给我留言,或email,如果觉得还好的话,给我良好啊,我到现在还没一个精华、良好贴……汗

0
1
分享到:
评论
3 楼 化蝶自在飞 2010-07-03  
环球新闻准备对你实施跨省了.遁^
2 楼 key232323 2010-05-14  
用httpclient可以做一些防盗链资源下载,不过发现很多都推荐用curl

有时间自己多了解下
1 楼 key232323 2010-05-05  
没想到环球新闻,生成的html代码修改了……汗

莫非是偶的缘故???

相关推荐

    站长专用IIS日志蜘蛛IP标记JS脚本

    根据给定文件的信息,我们可以提炼出以下几个主要的知识点: ### 1. 使用JavaScript进行IIS日志中的蜘蛛IP标记 #### 知识点说明: 在网站管理与SEO优化的过程中,了解哪些搜索引擎蜘蛛访问过自己的网站是非常重要...

    新闻小偷程序站长推荐

    新闻小偷程序,也被称为新闻聚合器或者内容抓取工具,是一种特殊类型的软件或脚本,主要用于自动搜集、整理和展示互联网上的新闻内容。在互联网信息爆炸的时代,新闻小偷程序成为了许多网站快速获取和更新内容的一种...

    Python抓取Discuz!用户名脚本代码

    在这个案例中,作者选择百度站长社区作为目标网站进行抓取,因为这个社区基于Discuz!搭建,拥有大量的用户。 描述中提到的脚本思路是通过正则表达式匹配HTML中的标签来提取用户名。在HTML中,标签通常用于定义页面...

    精美UI站长源码分享论坛网站源码 可切换皮肤界面二次开发版

    【精美UI站长源码分享论坛网站源码 可切换皮肤界面二次开发版】 这款源码是基于PHP语言进行二次开发的,专为站长们设计的一个社区论坛平台,它具有精美的用户界面(UI)和可切换的皮肤功能,极大地提升了用户体验。...

    织梦采集规则站长采集模块

    给定的描述中提到“A5网站长新闻模块”,这可能是指从A5创业网等站长资讯网站自动抓取新闻资讯的采集规则。这类规则通常会关注以下几个关键点: - **URL模式识别**:识别目标网站的新闻列表页和单篇文章页的URL结构...

    百度站长平台API普通收录自动化工具

    标题中的“百度站长平台API普通收录自动化工具”指的是一个专门设计用于提高网站在百度搜索引擎中收录效率的软件。它利用了百度站长平台提供的API接口,实现了自动化处理,从而减轻了手动操作的负担。 首先,我们要...

    互传站长网整站源码 v1.0_精品源码站

    【标题】"互传站长网整站源码 v1.0_精品源码站" 提供的是一个完整的网站源代码,适用于那些希望自建或定制网站的用户,特别是对站长们来说,这样的源码可以作为基础来搭建自己的站点。这个版本是v1.0,意味着它是该...

    仿chinaz站长工具网站源码,无错php版

    - **tool**:这个文件名可能是目录,里面包含了实现各种站长工具功能的PHP脚本和其他相关资源,如数据库配置文件、样式表、JavaScript文件等。 综上所述,这个仿chinaz站长工具网站源码提供了全面的网站管理与优化...

    站长之家关键词批量获取导出工具.zip

    我们可以合理推测压缩包内包含的"站长之家关键词批量获取导出工具"可能是一个软件程序或者脚本,用户下载后安装或运行,输入相关参数(如网站URL、关键词类别等),然后工具会自动从站长之家抓取相关的搜索关键词,...

    站长机器人

    【站长机器人】是一款专为网站管理员设计的自动化工具,它旨在通过编辑脚本来替代人工执行重复性任务,从而节省时间和精力。即使用户没有编程背景,也能轻松上手使用。这款软件集成了多个功能模块,包括但不限于网站...

    精品,站长自助链接网源码

    通过分析这个"精品,站长自助链接网源码",我们可以学习到从网站开发到运维的全套流程,这对于想要深入了解网站建设和运营的IT从业者来说是一份宝贵的资源。同时,它也可以作为初学者实践编程技能、提升项目经验的...

    自动新闻采集系统.rar

    "A5下载- 更全的站长资源平台.url"是一个快捷方式,指向A5网站,这可能是一个为网站管理员提供资源和服务的平台,用户可能在这里找到更多类似的工具或资源;"webapps"可能是指系统的Web应用程序目录,包含了运行系统...

    admindh站长导航站源码.rar

    【标题】"admindh站长导航站源码.rar"是一个基于PHP语言的网站导航系统源代码,主要用于构建一个集成了多种网址的站点,方便用户快速访问常用或热门的网络资源。这个源码在2012年发布,据描述称是当时最新的版本,且...

    完整无错版PHP站长工具源码

    2. **数据采集模块**:这是站长工具的关键部分,用于抓取网站的各种数据,如页面访问量、停留时间、跳出率等。这可能需要用到HTTP请求库,如cURL,以及正则表达式来解析HTML内容。 3. **SEO分析模块**:此模块会...

    利用Python3分析sitemap.xml并抓取导出全站链接详解

    所以需要在百度站长平台提交网址,不管是主动推送还是手动提交,前提都是要整理网站的链接,手动添加太麻烦,于是就想写个脚本直接抓取全站链接并导出,本文详细介绍的是实现的方法及过程,需要的朋友们一起来看看吧...

    PHP实例开发源码-NiTuo php站长查询工具.zip

    【PHP实例开发源码-NiTuo php站长查询工具】是一个基于PHP编程语言的实用工具,专为网站管理员设计,提供了一系列的功能,以帮助站长们更好地管理和优化他们的网站。这个源码包展示了PHP在实际开发中的应用,对于...

    飞翔263邮件发送系统站长专用版 v1.0.rar

    《飞翔263邮件发送系统站长专用版 v1.0》是一款专为网站管理员设计的邮件发送工具,其核心功能在于有效地帮助站长实现邮件通信,同时保护邮箱地址免受垃圾邮件的骚扰。这款系统利用了Jmail组件进行邮件的发送工作,...

    伪静态同义词库采集站长专用

    在互联网世界中,网站优化是每个站长关注的重要领域,其中“伪静态”技术是一个关键的实践策略。伪静态,顾名思义,是指将动态网页通过一定的技术手段转化为静态页面的外观,但实际上仍然保留动态页面的功能。这样做...

    ASP实例开发源码—ASPKU站长导航系统 v2.0.zip

    ASPKU站长导航系统v2.0是基于ASP技术实现的一个网站平台,主要用于帮助站长快速构建自己的导航站点,提供网站链接分类、管理、展示等功能。 在ASPKU站长导航系统v2.0中,你可能会接触到以下ASP相关的知识点: 1. *...

Global site tag (gtag.js) - Google Analytics