`
zhao103804
  • 浏览: 124703 次
  • 性别: Icon_minigender_1
  • 来自: 武汉
社区版块
存档分类
最新评论

java 抓取页面信息

阅读更多
import java.io.BufferedReader;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.URL;

/**
 * @author zhaoliangyuan
 * @E-mail zhao19860603@163.com
 * @dateTime 2010/6/30 上午 11:29:44 类说明:
 * java 抓取页面信息
 */
public class Test13 {

	public static String getHtmlReadLine(String httpurl){

		String CurrentLine="";

		String TotalString="";

		InputStream urlStream;

		String content="";

		try {

			URL url = new URL(httpurl);

			HttpURLConnection connection = (HttpURLConnection)url.openConnection();

			connection.connect();

			urlStream = connection.getInputStream();

			BufferedReader reader = new BufferedReader(new InputStreamReader(urlStream,"utf-8"));

			while ((CurrentLine = reader.readLine()) != null) {
				TotalString += CurrentLine+"\n";
				/** 换行的地方主要是在这里* */
			}
			content = TotalString;
		} catch (Exception e) {

			e.printStackTrace();

		}

		return content;
	}

	public static void main(String[] args) {
		String s = getHtmlReadLine("http://webservice.webxml.com.cn/WebServices/WeatherWS.asmx/getRegionProvince");
		System.out.println(s);
	}
}
 
分享到:
评论

相关推荐

    Java抓取https网页数据

    Java抓取https网页数据,解决peer not authenticated异常。导入eclipse就能运行,带有所用的jar包(commons-httpclient-3.1.jar,commons-logging.jar,httpclient-4.2.5.jar,httpcore-4.2.4.jar)

    java抓取与采集页面内容 喜欢的拿去研究下

    关于Java抓取页面内容的知识点,首先,你需要理解HTTP协议,包括请求方法(GET、POST等)、请求头、状态码以及响应头等概念。其次,了解网络爬虫的基本原理,比如如何构造URL、如何模拟浏览器发送请求、如何解析HTML...

    java抓取网站数据

    ### Java抓取网站数据知识点详解 #### 一、概述 在现代互联网开发中,抓取网站数据是一项重要的技能。无论是进行市场调研、竞品分析还是数据挖掘,掌握如何使用Java来抓取数据都是十分必要的。本篇文章将详细介绍...

    java网页抓取数据

    Java网页抓取数据是互联网数据挖掘的一个重要领域,它允许开发者通过编程方式获取网页上的信息,从而实现自动化分析、监控或构建智能应用。在Java中,我们通常使用HTTP客户端库和HTML解析工具来实现这一目标。本文将...

    java抓取网页数据

    在“java抓取网页数据”这个主题中,我们将深入探讨如何利用Java来抓取并处理互联网上的信息。 首先,我们要了解什么是网络爬虫。网络爬虫(Web Crawler)是自动遍历互联网的程序,通过抓取网页内容并存储在本地,...

    java 获取页面信息

    在Java编程语言中,获取网页信息是常见的任务,特别是在网络爬虫、数据分析或者网页抓取等应用场景中。这里我们将详细探讨两种主要的方法:使用`java.net`包中的类和使用第三方库如`Jsoup`。 **一、使用`java.net....

    java抓取任何指定网页的数据

    ### Java抓取任何指定网页的数据 #### 知识点概览 本文主要介绍如何使用Java技术来抓取任何指定网页的数据。重点在于介绍抓取网页数据的方法、解析数据的手段,以及具体实施过程中的关键步骤。 #### 抓取网页数据...

    Java抓取网页数据Demo

    这段代码会抓取页面上所有链接的`href`属性。 接下来,我们转向**抓取网页JS返回数据**。许多现代网页使用Ajax技术动态加载数据,这些数据通常不会出现在原始HTML中,而是通过JavaScript执行后生成。为了抓取这类...

    java网页抓取demo

    Java网页抓取是一种技术,主要用于从互联网上自动提取或获取数据。这个"java网页抓取demo"项目提供了实现这一功能的实例代码。项目中的jar包是实现网页抓取的关键依赖库,包括Apache Commons Logging和HTTP Client。...

    java爬虫webmagic抓取静态页面demo

    Java爬虫WebMagic是开发者常用来抓取网页数据的一个强大工具,尤其对于处理静态页面,它的易用性和灵活性使得在Java开发环境中非常受欢迎。WebMagic的设计理念是模块化,这使得我们可以灵活地组合各个组件来实现不同...

    java抓取网页内容--生成静态页面

    在Java编程中,生成静态页面是一种常见的技术,它涉及到网页内容的抓取和存储。这个程序的主要目的是从指定的URL抓取网页内容,并将其保存为一个HTML文件,即静态页面。下面将详细讲解这个过程涉及的关键知识点。 1...

    java抓取需要验证码登陆后的页面

    java抓取页面 需要验证码才能登陆的网站 抓取登陆后的页面 绝对可用,可以直接运行试下。。。

    java抓取网页的爬虫

    Java抓取网页的爬虫是一种自动化程序,用于从互联网上收集和处理大量数据。它模拟浏览器行为,通过HTTP协议向服务器发送请求,并接收返回的HTML或其他格式的网页内容。在这个过程中,开发者通常会使用到一系列Java库...

    Java网页抓取数据

    4. **快递查询**:如果要从快递公司网站抓取物流信息,需要熟悉快递公司的API接口或解析他们的查询结果页面。例如,可以使用Jianwen Express API,或者通过解析HTML来获取数据,注意处理动态加载和验证码问题。 5. ...

    java抓取网页数据实现

    以下是对"java抓取网页数据实现"这一主题的详细说明。 首先,我们需要了解网页抓取的基本原理。网页抓取,也称为网络爬虫或网页刮取,是通过自动程序从互联网上收集信息的过程。这个过程通常包括发送HTTP请求到...

    java http方式抓取网页信息 JAVAIO

    本知识点主要探讨如何使用Java实现HTTP请求来抓取网页信息,并利用Java IO流将其保存到本地文件。首先,我们需要理解HTTP协议的基本概念,它是客户端与服务器之间交互的一种协议,通常用于获取HTML页面。 在Java中...

    java网络编程抓取指定网页信息--UrlHtml(java源码)

    import java.io.DataInputStream; import java.io.IOException; import java.net.MalformedURLException; import java.net.URL; public class UrlHtml { @SuppressWarnings("deprecation") public ...

    java 新浪网易搜狐新闻抓取源码

    在这个项目中,程序首先定义要抓取的新闻页面URL,然后利用Java的HttpURLConnection或者HttpClient类发起GET请求。收到响应后,将HTML内容解析为DOM树,HTMLParser正是用于这个环节。 三、抓取策略 针对不同网站的...

    java新闻抓取

    【Java新闻抓取】是一种利用编程技术从网络上自动收集并处理特定信息的过程,这里主要关注的是使用Java语言来实现对腾讯IT业界滚动新闻的抓取。在IT领域,新闻抓取是数据挖掘的重要组成部分,它能帮助我们获取实时、...

    java代码中抓取http和https

    windows系统上的http和https抓包工具, fiddler是http https监控... 如果要监控java程序,需要添加如下代码: System.setProperty("http.proxyHost", "127.0.0.1"); System.setProperty("http.proxyPort", "8888");

Global site tag (gtag.js) - Google Analytics