`
weiweichen1985
  • 浏览: 141009 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

获取远程URL数据

    博客分类:
  • java
阅读更多
平时可能有些需要要获取别的网站的一些数据。。。。
呵呵,在以前公司没少干这样的事。。。
公司想搞一个最新的股票查询,哎,没有钱去和别人合作。。。
就去偷啊,具体偷哪个网站的都不说了。。。影响问题。。。。
JAVA.NET.*包以进行了封装。。。。
写了个简单的例子。。。。
抓取百度首页的数据。。。。


具体代码如下。。。。
见笑了。。。。

package com.della.test;

import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.URL;

public class Test {

	
	public static void main(String[] args) {
		System.out.println(sendPost("http://www.baidu.com"));
	}

	public static String sendPost(String url) {
		String result = "";
		try {
			URL httpurl = new URL(url);
			HttpURLConnection httpConn = (HttpURLConnection) httpurl
					.openConnection();
			httpConn.setDoInput(true);
			BufferedReader in = new BufferedReader(new InputStreamReader(
					httpConn.getInputStream()));
			String line;
			while ((line = in.readLine()) != null) {
				result += line;
			}
			in.close();
		} catch (Exception e) {
			e.printStackTrace();
			System.out.println("没有结果!" + e);
		}
		return result;
	}

}

分享到:
评论
4 楼 ruderal 2008-04-19  
PHP只需要一个file_get_contents()函数
3 楼 winebibber 2008-04-19  
使用HttpClient去做这些操作会更好,比java.net提供了更丰富和灵活的操作方法。
2 楼 weiweichen1985 2008-04-18  
我的机器没有使用代理上网。。。
1 楼 javazhujf 2008-04-18  
cz3w 写道
好象不管:
java.net.UnknownHostException: www.baidu.com
at java.net.PlainSocketImpl.connect(PlainSocketImpl.java:177)
at java.net.Socket.connect(Socket.java:520)
at java.net.Socket.connect(Socket.java:470)
at sun.net.NetworkClient.doConnect(NetworkClient.java:157)
at sun.net.www.http.HttpClient.openServer(HttpClient.java:387)
at sun.net.www.http.HttpClient.openServer(HttpClient.java:522)
at sun.net.www.http.HttpClient.<init>(HttpClient.java:231)
at sun.net.www.http.HttpClient.New(HttpClient.java:304)
at sun.net.www.http.HttpClient.New(HttpClient.java:321)
at sun.net.www.protocol.http.HttpURLConnection.getNewHttpClient(HttpURLConnection.java:813)
at sun.net.www.protocol.http.HttpURLConnection.plainConnect(HttpURLConnection.java:765)
at sun.net.www.protocol.http.HttpURLConnection.connect(HttpURLConnection.java:690)
at sun.net.www.protocol.http.HttpURLConnection.getInputStream(HttpURLConnection.java:934)
at net.yjjc.log.GetUrlData.sendPost(GetUrlData.java:23)
at net.yjjc.log.GetUrlData.main(GetUrlData.java:12)
没有结果!java.net.UnknownHostException: www.baidu.com



你的机器如果使用代理上网的话需要设置代理的参数。

相关推荐

    远程获取其他网址数据

    根据提供的信息,我们可以总结出以下有关“远程获取其他网址数据”的关键知识点: ### 1. 远程数据获取概述 远程获取数据是指在一个程序中通过网络请求的方式从其他服务器或网站上获取信息的过程。这种方式在现代...

    服务器远程获取数据

    对于bash脚本,我们可以使用`curl`命令来获取远程数据: ```bash data=$(curl 'http://example.com/data') ``` 在JavaScript中,如果是在浏览器环境中,我们可以使用`fetch` API: ```javascript fetch('...

    通过URL地址获取远程数据并用json返回

    通过URL访问接口,获取数据,并将xml格式转换为json格式输出。

    一个简单的获取URL 数据方法,附文档代码

    在现代互联网应用开发中,获取远程服务器上的数据是一项基本且重要的任务。本文将详细介绍一种简单有效的方式:通过Java语言编写一个类来获取指定URL的数据,并对该方法进行深入解析。 #### 一、背景介绍 在实际...

    java远程获取数据_java工程

    在Java中,可以使用`java.net.URL`类、`HttpURLConnection`类或者第三方库如Apache HttpClient、OkHttp来发起HTTP请求,获取远程服务器的数据。HTTPS在HTTP的基础上添加了SSL/TLS加密,保证了数据传输的安全性。 4....

    正则+url获取指定网站数据信息

    本篇将详细讲解如何利用Java编程语言,结合正则表达式和URL来获取指定网站的数据信息。 首先,我们需要了解URL。URL是互联网上资源的唯一地址,它包含了协议类型(如http或https)、服务器地址、路径以及可能的查询...

    PHP获取远程div内容

    在PHP中,获取远程网页的特定div内容是常见的需求,比如你可能想要抓取某个网站的动态信息或者数据。这通常涉及到网页抓取(Web Scraping)和HTML解析技术。以下是一个详细的步骤来实现这个功能: 1. **使用cURL...

    httpClient 调用远程接口 获取数据到本地文件夹

    在这个场景中,我们使用HttpClient来调用远程接口,从电信公司的网站获取可用的新手机号码信息,并将这些数据存储到本地文件中。以下是对这个过程的详细解释: 1. **HttpClient的基本使用**: HttpClient提供了一...

    python获取远程图片大小和尺寸的方法

    本文主要介绍如何使用Python获取远程图片的大小和尺寸,这里将涉及到的关键知识点包括Python的urllib2模块、cStringIO模块以及Pillow库(之前称为PIL库)。 首先,Python的urllib2模块是处理HTTP请求的工具包,它...

    C#获取远程HTTP xml数据

    ### C# 获取远程HTTP XML数据方法详解 在现代软件开发中,从远程服务器获取XML数据是一种常见的需求。本文将详细介绍三种不同的方法来实现这一功能,包括利用`XmlReader`、`XDocument`以及`WebClient`类进行操作。 ...

    PHP+Curl远程模拟登录并获取数据

    **PHP+Curl远程模拟登录并获取数据** ...总的来说,PHP+Curl的组合是Web开发中一个强大而灵活的工具,用于模拟登录和获取远程数据。正确理解和使用Curl,可以大大提高开发效率,但也需注意相应的安全问题。

    C#获取远程网页中的所有链接URL

    ### C# 获取远程网页中的所有链接URL 在本篇文章中,我们将探讨如何使用C#语言来获取远程网页上的所有链接URL。此技术广泛应用于搜索引擎、爬虫程序以及其他需要收集网络资源的应用场景中。 #### 一、基础知识介绍...

    asp.net 请求url 获取返回值

    在ASP.NET中,请求URL获取返回值是网络编程的一个常见任务,主要涉及到Web请求和数据交互。本篇文章将深入探讨如何使用`WebRequest`和`WebClient`这两种方式来实现这一功能。 首先,让我们理解`WebRequest`类。它是...

    PHP 获取远程网页内容的代码(fopen,curl已测)

    在互联网应用中,获取远程网页内容是一项基础且重要的操作,这在编写爬虫程序、数据采集、动态内容加载等多种场景中广泛使用。PHP作为一门广泛使用的服务器端脚本语言,提供了多种方法来实现这一功能。本文将详细...

    JAVA 根据Url 接口 获取文件名称和类型

    JAVA 根据Url 接口 获取文件名称和类型,亲测可用。输入参数地址即可。

    spring获取weblogic jndi数据源的两种方式

    ### Spring 获取 WebLogic JNDI 数据源的两种方式 在Spring框架中,通过JNDI(Java Naming and Directory Interface)可以方便地访问WebLogic服务器中的数据源。这为应用程序提供了高度解耦的数据访问机制,使得...

    Extjs之旅-combox之远程加载数据

    这时,远程加载数据就显得尤为重要,它通过异步请求从服务器获取数据,只在需要时才加载,显著提高了用户体验。 远程加载数据的核心在于Store和Ajax源。Store是ExtJS中管理数据的容器,它可以连接到各种数据源,...

    Extjs 从远程获取json类型的list数据

    在获取远程数据时,可以使用`Ext.Ajax.request`方法,设置URL、请求方法、参数、回调函数等。 5. **Store配置**:创建一个Store实例时,需要配置URL(`proxy.url`)、请求方法(`proxy.type`,默认是GET)、以及...

    PHP通过curl获取接口URL的数据方法

    在这里,我们将`CURLOPT_URL`选项设置为我们想要获取数据的接口URL,例如: ```php curl_setopt($weather, CURLOPT_URL, "https://api.pc2801.com/cqssc/" . time()); ``` 这里的`time()`函数用于生成当前时间戳,...

    获取远程图片

    1. 使用`file_get_contents()`获取远程图片数据。 2. 使用GD库的`imagecreatefromstring()`创建图像资源。 3. 使用`imagescale()`函数调整图像大小,生成缩略图。 4. 最后,使用`imagejpeg()`将处理后的图像保存到...

Global site tag (gtag.js) - Google Analytics