- 浏览: 62318 次
- 来自: 北京
最新评论
-
caowei3047:
确实强悍。
不过jquery的那个仿igoogle组件似乎也不 ...
仿igoogle拖动框 -
zhangyuqing052:
没用的,还会过期!
何让Struts From提交后“后退”页面不过期 -
skorpi:
跟我现在一样,一点动力都没有,都想回家种地了,对技术也不是那么 ...
迷茫,2年工作经验的小兵的迷茫 -
jason.hsu:
..这样作不行..甚至还少一个.mymetadata文件..
怎么将java工程修改为myeclipse识别的web工程 -
dean_liu:
Seam Requirements 写道
Seam 2.x e ...
与我一起学seam(1)
- import java.io.BufferedReader;
- import java.io.IOException;
- import java.io.InputStreamReader;
- import java.net.MalformedURLException;
- import java.net.URL;
- import java.util.ArrayList;
- import java.util.HashMap;
- import java.util.List;
- import java.util.regex.Matcher;
- import java.util.regex.Pattern;
- public class WebContent
- {
- /**
- * 读取一个网页全部内容
- */
- public String getOneHtml(final String htmlurl) throws IOException
- {
- URL url;
- String temp;
- final StringBuffer sb = new StringBuffer();
- try
- {
- url = new URL(htmlurl);
- final BufferedReader in = new BufferedReader(new InputStreamReader(url.openStream(), "utf-8"));// 读取网页全部内容
- while ((temp = in.readLine()) != null)
- {
- sb.append(temp);
- }
- in.close();
- }
- catch (final MalformedURLException me)
- {
- System.out.println("你输入的URL格式有问题!请仔细输入");
- me.getMessage();
- throw me;
- }
- catch (final IOException e)
- {
- e.printStackTrace();
- throw e;
- }
- return sb.toString();
- }
- /**
- *
- * @param s
- * @return 获得网页标题
- */
- public String getTitle(final String s)
- {
- String regex;
- String title = "";
- final List<String> list = new ArrayList<String>();
- regex = "<title>.*?</title>";
- final Pattern pa = Pattern.compile(regex, Pattern.CANON_EQ);
- final Matcher ma = pa.matcher(s);
- while (ma.find())
- {
- list.add(ma.group());
- }
- for (int i = 0; i < list.size(); i++)
- {
- title = title + list.get(i);
- }
- return outTag(title);
- }
- /**
- *
- * @param s
- * @return 获得链接
- */
- public List<String> getLink(final String s)
- {
- String regex;
- final List<String> list = new ArrayList<String>();
- regex = "<a[^>]*href=(\"([^\"]*)\"|\'([^\']*)\'|([^\\s>]*))[^>]*>(.*?)</a>";
- final Pattern pa = Pattern.compile(regex, Pattern.DOTALL);
- final Matcher ma = pa.matcher(s);
- while (ma.find())
- {
- list.add(ma.group());
- }
- return list;
- }
- /**
- *
- * @param s
- * @return 获得脚本代码
- */
- public List<String> getScript(final String s)
- {
- String regex;
- final List<String> list = new ArrayList<String>();
- regex = "<script.*?</script>";
- final Pattern pa = Pattern.compile(regex, Pattern.DOTALL);
- final Matcher ma = pa.matcher(s);
- while (ma.find())
- {
- list.add(ma.group());
- }
- return list;
- }
- /**
- *
- * @param s
- * @return 获得CSS
- */
- public List<String> getCSS(final String s)
- {
- String regex;
- final List<String> list = new ArrayList<String>();
- regex = "<style.*?</style>";
- final Pattern pa = Pattern.compile(regex, Pattern.DOTALL);
- final Matcher ma = pa.matcher(s);
- while (ma.find())
- {
- list.add(ma.group());
- }
- return list;
- }
- /**
- *
- * @param s
- * @return 去掉标记
- */
- public String outTag(final String s)
- {
- return s.replaceAll("<.*?>", "");
- }
- /**
- *
- * @param s
- * @return 获取雅虎知识堂文章标题及内容
- */
- public HashMap<String, String> getFromYahoo(final String s)
- {
- final HashMap<String, String> hm = new HashMap<String, String>();
- final StringBuffer sb = new StringBuffer();
- String html = "";
- System.out.println("\n------------------开始读取网页(" + s + ")--------------------");
- try
- {
- html = getOneHtml(s);
- }
- catch (final Exception e)
- {
- e.getMessage();
- }
- // System.out.println(html);
- System.out.println("------------------读取网页(" + s + ")结束--------------------\n");
- System.out.println("------------------分析(" + s + ")结果如下--------------------\n");
- String title = outTag(getTitle(html));
- title = title.replaceAll("_雅虎知识堂", "");
- // Pattern pa=Pattern.compile("<div
- // class=\"original\">(.*?)((\r\n)*)(.*?)((\r\n)*)(.*?)</div>",Pattern.DOTALL);
- final Pattern pa = Pattern.compile("<div class=\"original\">(.*?)</p></div>", Pattern.DOTALL);
- final Matcher ma = pa.matcher(html);
- while (ma.find())
- {
- sb.append(ma.group());
- }
- String temp = sb.toString();
- temp = temp.replaceAll("(<br>)+?", "\n");// 转化换行
- temp = temp.replaceAll("<p><em>.*?</em></p>", "");// 去图片注释
- hm.put("title", title);
- hm.put("original", outTag(temp));
- return hm;
- }
- /**
- *
- * @param args
- * 测试一组网页,针对雅虎知识堂
- */
- public static void main(final String args[])
- {
- String url = "";
- final List<String> list = new ArrayList<String>();
- System.out.print("输入URL,一行一个,输入结束后输入 go 程序开始运行: \n");
- /*
- * http://ks.cn.yahoo.com/question/1307121201133.html
- * http://ks.cn.yahoo.com/question/1307121101907.html
- * http://ks.cn.yahoo.com/question/1307121101907_2.html
- * http://ks.cn.yahoo.com/question/1307121101907_3.html
- * http://ks.cn.yahoo.com/question/1307121101907_4.html
- * http://ks.cn.yahoo.com/question/1307121101907_5.html
- * http://ks.cn.yahoo.com/question/1307121101907_6.html
- * http://ks.cn.yahoo.com/question/1307121101907_7.html
- * http://ks.cn.yahoo.com/question/1307121101907_8.html
- */
- final BufferedReader br = new BufferedReader(new InputStreamReader(System.in));
- try
- {
- while (!(url = br.readLine()).equals("go"))
- {
- list.add(url);
- }
- }
- catch (final Exception e)
- {
- e.getMessage();
- }
- final WebContent wc = new WebContent();
- HashMap<String, String> hm = new HashMap<String, String>();
- for (int i = 0; i < list.size(); i++)
- {
- hm = wc.getFromYahoo(list.get(i));
- System.out.println("标题: " + hm.get("title"));
- System.out.println("内容: \n" + hm.get("original"));
- }
- /*
- * String htmlurl[] = {
- * "http://ks.cn.yahoo.com/question/1307121201133.html",
- * "http://ks.cn.yahoo.com/question/1307121101907.html",
- * "http://ks.cn.yahoo.com/question/1307121101907_2.html",
- * "http://ks.cn.yahoo.com/question/1307121101907_3.html",
- * "http://ks.cn.yahoo.com/question/1307121101907_4.html",
- * "http://ks.cn.yahoo.com/question/1307121101907_5.html",
- * "http://ks.cn.yahoo.com/question/1307121101907_6.html",
- * "http://ks.cn.yahoo.com/question/1307121101907_7.html",
- * "http://ks.cn.yahoo.com/question/1307121101907_8.html" }; WebContent
- * wc = new WebContent(); HashMap<String, String> hm = new HashMap<String,
- * String>(); for (int i = 0; i < htmlurl.length; i++) { hm =
- * wc.getFromYahoo(htmlurl[i]); System.out.println("标题: " +
- * hm.get("title")); System.out.println("内容: \n" + hm.get("original")); }
- */
- /*
- * String html=""; String link=""; String sscript=""; String content="";
- * System.out.println(htmlurl+" 开始读取网页内容:");
- * html=wc.getOneHtml(htmlurl); System.out.println(htmlurl+"
- * 读取完毕开始分析……"); html=html.replaceAll("(<script.*?)((\r\n)*)(.*?)((\r\n)*)(.*?)(</script>)","
- * ");//去除脚本 html=html.replaceAll("(<style.*?)((\r\n)*)(.*?)((\r\n)*)(.*?)(</style>)","
- * ");//去掉CSS html=html.replaceAll("<title>.*?</title>"," ");//除去页面标题
- * html=html.replaceAll("<a[^>]*href=(\"([^\"]*)\"|\'([^\']*)\'|([^\\s>]*))[^>]*>(.*?)</a>","
- * ");//去掉链接 html=html.replaceAll("(\\s){2,}?"," ");//除去多余空格
- * html=wc.outTag(html);//多余标记 System.out.println(html);
- */
- /*
- * String s[]=html.split(" +"); for(int i=0;i<s.length;i++){
- * content=(content.length()>s[i].length())?content:s[i]; }
- * System.out.println(content);
- */
- // System.out.println(htmlurl+"网页内容结束");
- /*
- * System.out.println(htmlurl+"网页脚本开始:"); List
- * script=wc.getScript(html); for(int i=0;i<script.size();i++){
- * System.out.println(script.get(i)); }
- * System.out.println(htmlurl+"网页脚本结束:");
- *
- * System.out.println(htmlurl+"CSS开始:"); List css=wc.getCSS(html);
- * for(int i=0;i<css.size();i++){ System.out.println(css.get(i)); }
- * System.out.println(htmlurl+"CSS结束:");
- *
- * System.out.println(htmlurl+"全部链接内容开始:"); List list=wc.getLink(html);
- * for(int i=0;i<list.size();i++){ link=list.get(i).toString(); }
- * System.out.println(htmlurl+"全部链接内容结束:");
- *
- * System.out.println("内容"); System.out.println(wc.outTag(html));
- */
- }
- }
发表评论
-
帝国cms 灵动标签高级提升
2011-09-20 16:13 2496灵动标签调友情连接分类调用方法。 用以下标签就可以实现了![ ... -
帝国cms 灵动标签 循环嵌套
2011-09-20 16:07 5161<div id="menu" ... -
svn数据回滚.
2011-08-09 18:53 3587这里讲一下svn中文件删除了(前提,不是从服务器端删除的,只 ... -
svn 不同版本数据合并
2011-08-09 18:27 3981搞java开发的人员基本都用过svn,但是常用的基本功能也就 ... -
Eclipse编码格式修改(转)
2011-07-04 18:17 1272eclipse plugin 由gbk转为utf8后出现各 ... -
spring BeanWrapperImpl方便的嵌套属性(list)操作
2010-01-21 09:59 4531转载自: http://blog.csdn.net/zyl62 ... -
仿igoogle拖动框
2009-11-10 14:37 1181如题 -
eclipse设置 默认工程文件都是utf8
2009-11-10 12:43 773如题。 -
在web和j2se中两个不同环境下 读取配置文件 备忘
2009-11-10 12:32 700如题。 见附件 -
acegi开发 实例
2009-10-20 09:31 788转自:http://zhanjia.iteye.com/blo ... -
hibernate 查询 QBC
2009-03-24 16:07 818Hibernate QBC查询 ... -
ibatise例子
2009-02-12 17:02 688dd -
怎么将java工程修改为myeclipse识别的web工程
2009-01-09 15:11 5034摘抄自:百度知道。 修改工程目录下的.projec ... -
主题:关于网络信息安全的对谈录
2008-12-26 15:10 726摘自: http://www.iteye.com/ ... -
java 调用dll
2008-12-26 12:44 832java 调用dll 备忘。
相关推荐
web基础蜘蛛网页文章采集器,英文名称Fast_Spider,属于蜘蛛爬虫类程序,用于从指定网站采集海量精华文章,将直接丢弃其中的垃圾网页信息,仅保存具备阅读价值和浏览价值的精华文章,自动执行HTM-TXT转换。...
土壤重金属分析采样器 土壤重金属分析采样器
总的来说,CYY网页资源提取器是一款强大的工具,它的功能强大且易于操作,能帮助用户快速、有序地获取网络上的页面资源。无论是为了个人学习,还是专业的工作需求,都能从中受益。但使用时一定要注意尊重版权,遵守...
采集器源码 运行源码,CollItem.aspx 进入 一、添加采集项目,设置以后保存。 二、添加好采集项目后,进行 列表设置: 列表页面地址 列表开始标记 列表结束标记 三、采集测试 数据库在App_Data文件夹中...
3. **Web页面嵌入**:通过使用大华OCX插件,开发者可以将摄像头的视频流直接嵌入到Web页面中,用户无需安装额外的客户端软件,只需在IE浏览器上浏览页面即可查看摄像头画面。这种技术使得远程监控、在线视频会议等...
【Python+SQLite的WEB采集器源码】是一个利用Python编程语言构建的自动化网络数据采集工具。这个工具的主要功能是定期从指定的网站抓取信息,并将抓取到的数据存储到SQLite数据库中。SQLite是一个轻量级的关系型...
【基于Matlab GUI的简易音频信号采集分析仪】 在当今的数字信号处理领域,Matlab是一种广泛使用的工具,尤其在音频信号处理方面。本项目利用Matlab的图形用户界面(GUI)技术,开发了一款简易的音频信号采集与分析...
在IT行业中,Python是一种广泛应用的编程语言,尤其在Web数据采集和分析方面表现突出。本项目专注于使用Python进行Web数据采集并借助matplotlib库进行数据显示。下面将详细解释这些知识点。 1. **Python Web数据...
3. **数据清洗与转换**:采集到的数据往往需要进一步处理才能用于分析,关关采集器可能提供了数据清洗和格式转换的功能,确保数据质量。 4. **批量任务处理**:对于需要大量抓取的项目,关关采集器可能会支持批量...
一款运行在web服务器上的采集器:蓝天采集器部署在web服务器上的采集器 相比市面上的火车头等桌面端采集器,可以大大降低上手成本,而且更加简便,最重要的是完全开源 明天给大家出一个写采集规则的教程(目前b站...
【疯子页面采集器教程】 疯子页面采集器是一款强大的网页数据抓取工具,它能够帮助用户快速、高效地从互联网上抓取所需信息。在本教程中,我们将深入探讨这款采集器的功能、使用方法以及如何利用它进行网页数据的...
《阿里巴巴国际版采集器:高效的数据获取与分析工具》 阿里巴巴国际版采集器是一款专为从事跨境电商、市场研究以及数据分析的用户设计的高效工具。它利用先进的多线程技术,能够快速、稳定地抓取阿里巴巴国际网站上...
总之,网站内容采集器 ASP 版是一个强大的工具,能够帮助用户自动化处理网络数据,为数据分析、市场研究、内容管理等领域提供便捷。然而,合理、合法、合规地使用采集器至关重要,以确保信息获取的可持续性和安全性...
总的来说,八爪鱼采集器V7.6.4版是一款高效且易用的数据采集工具,它让数据采集工作变得简单,无论是个人研究、商业分析还是学术研究,都能从中受益。对于那些不熟悉编程的用户,八爪鱼采集器无疑是一款理想的选择,...
提供的"奥硕图片采集器"源码应该包含了完整的图片采集流程,包括URL管理、请求发送、图片链接提取和下载等功能。通过阅读和分析源码,可以深入理解每一步的具体实现,提升自己的编程技能。 最后,要注意合法性和...
万能ASP采集器的简易版V0.1可能包含了以下功能: 1. **自定义规则**:用户可以设置规则来指定需要抓取的网页元素,例如通过CSS选择器或正则表达式定位目标内容。 2. **多线程采集**:支持同时处理多个网页,提高...
在构建Web信息采集系统的过程中,涉及的技术范围广泛且复杂,主要涵盖了网络爬虫、数据解析、反反爬策略以及存储与分析等多个环节。以下是对这些关键知识点的详细说明: 1. **网络爬虫**:网络爬虫是信息采集的基础...
这个Python毕业设计项目的核心是构建一个能够分析上网行为并提供可视化Web页面的工具。通过使用Python的多种库和模块,我们可以实现数据收集、处理、分析以及结果的展示。以下是该项目涉及的一些关键知识点: 1. **...
综合以上分析,Zxq采集器源码是一个基于ASP.NET的Web应用,具备数据采集、编辑、显示等功能。用户可以学习和利用这些源代码来了解如何在ASP.NET环境中实现网络数据采集,或者根据自己的需求修改和扩展现有的功能。...