`

通过地址得到网页内容

    博客分类:
  • java
 
阅读更多
方法1:
public static void main(String args[]){
       
        String url="http://www.baidu.com";
       
        try {
            URL requestURL = new URL(url);
            InputStream inStream = requestURL.openStream();
           
            int c;
            StringBuffer sb = new StringBuffer();
            while((c=inStream.read()) != -1){
                sb.append((char)c);
            }
           
            String response = new String(sb.toString().getBytes("iso-8859-1") , "utf-8");
           
            System.out.println(response);
           
        } catch (MalformedURLException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
       
    }


方法2:可设置链接超时

package wd.com.update;

import java.io.BufferedReader;
import java.io.InputStreamReader;

import org.apache.http.HttpEntity;
import org.apache.http.HttpResponse;
import org.apache.http.client.HttpClient;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.DefaultHttpClient;
import org.apache.http.params.HttpConnectionParams;
import org.apache.http.params.HttpParams;

public class NetworkTool {

/**
* 获取网址内容
* @param url
* @return
* @throws Exception
*/
public static String getContent(String url) throws Exception{
    StringBuilder sb = new StringBuilder();
   
    HttpClient client = new DefaultHttpClient();
    HttpParams httpParams = client.getParams();
    //设置网络超时参数
    HttpConnectionParams.setConnectionTimeout(httpParams, 3000);
    HttpConnectionParams.setSoTimeout(httpParams, 5000);
    HttpResponse response = client.execute(new HttpGet(url));
    HttpEntity entity = response.getEntity();
    if (entity != null) {
        BufferedReader reader = new BufferedReader(new InputStreamReader(entity.getContent(), "UTF-8"), 8192);
       
        String line = null;
        while ((line = reader.readLine())!= null){
            sb.append(line + "\n");
        }
        reader.close();
    }
    return sb.toString();
}
}






分享到:
评论

相关推荐

    抓取网站内容,获取网站内容,读取网站所有内容,抓取网页内容

    1. **抓取网站内容**:这是网络爬虫的基本功能,通过HTTP或HTTPS协议向服务器发送请求,获取返回的HTML或其他格式的网页内容。Python中常用的库有`requests`,它可以方便地发送GET或POST请求。 2. **获取网站内容**...

    易语言通过获取网页的源文件得到媒体地址

    "易语言通过获取网页的源文件得到媒体地址"这个主题,就是关于如何利用易语言编程来实现这一目标的实践。易语言,作为一种面向对象、简单易学的中文编程语言,为初学者提供了便利的条件来理解和编写这样的程序。 ...

    得到网页中HTML内容

    标题 "得到网页中HTML内容" 描述的是一个编程任务,目标是通过输入网址获取到该网页的HTML源代码。在互联网技术中,这通常涉及到网络请求和解析技术。以下是相关的重要知识点: 1. **HTTP协议**:超文本传输协议...

    linux C/C++实现的通过url访问网页提取网页文字内容

    在Linux环境下,使用C或C++编程语言实现通过URL访问网页并提取网页文字内容涉及到多个技术领域,包括网络编程、HTTP协议理解、HTML解析等。本文将深入探讨这些知识点,并提供一个简化的实现流程。 首先,我们要理解...

    通过URL地址获取网页生成jpg图片

    本教程将详细介绍如何通过URL地址获取网页并生成jpg图片,同时解决32位和64位运行环境下的兼容性问题。我们将主要使用Java语言来实现这一功能,因为它具有丰富的库和跨平台的特性。 首先,我们需要一个能够处理网络...

    获取网站IP地址

    同时,需要注意的是,某些网站可能有负载均衡或者CDN(内容分发网络)服务,这意味着同一个域名可能会对应多个IP地址。此外,获取IP地址应遵循合法和道德的网络使用原则,尊重隐私并遵守相关法律法规。

    在线提取网页中的视频文件地址

    本文将详细介绍如何通过特定网站和技术手段实现网页视频的在线提取与下载。 #### 二、在线提取视频文件地址的方法 ##### 2.1 使用专门网站提取视频文件 一种简便的方式是利用专门的在线工具来提取网页中的视频文件...

    地址连接友情链接网站连接

    每个网页都有一个独一无二的URL,用户可以通过输入这个地址在浏览器中访问相应的网页。地址连接是互联网的基础,使得信息能在全球范围内快速传播。 "友情链接"则是网站之间相互展示对方链接的一种合作方式。它通常...

    易语言提取网页中链接地址

    1. **加载网页内容**:首先需要通过HTTP请求获取网页的HTML源代码。这可以通过易语言的网络模块实现,例如使用`HTTPGET`函数发送GET请求到目标URL,获取响应的HTML文本。 2. **字符串处理**:得到HTML源码后,需要...

    抓取网页上的Email地址

    通过自动抓取网页上的Email地址,企业可以建立潜在客户列表,进行有针对性的邮件营销。以下是一些关于如何实现这一功能的关键知识点: 1. **正则表达式(Regular Expression)**: 在Python等编程语言中,正则...

    API 获得浏览器地址

    标题中的“API 获得浏览器地址”指的是使用应用程序接口(API)来获取用户正在浏览的网页URL的技术。在计算机编程中,API是一组预定义的函数、类或方法,允许开发者通过调用这些接口来与操作系统、库或者其它应用...

    PHP编程使用Curl方法获取目标网页内容插件.rar

    1.插件说明: 设计插件的目的是当需要读取网页内容时,可以用...引入本插件文件后,实例化CurlGetContents.class.php文件,用得到的对象调用PIPHP_CurlGetContents方法传入网页URL地址和浏览器的用户代理字符串即可。

    C#如何获取网页中的所有超链接地址及详细信息

    在C#编程中,获取网页中的所有超链接地址及其详细信息是常见的网络爬虫或Web自动化任务的一部分。这个过程涉及到HTML解析、网络请求和DOM操作。以下是一个详细的步骤指南: 1. **网络请求**:首先,你需要使用C#的...

    实时监控IE地址栏地址

    例如,对于控制小孩上网的应用,应确保只在获得家长同意的情况下运行,并且仅用于保护孩子的网络安全,避免访问不适宜的内容。 6. **家长控制**:在家庭环境中,这种技术可以帮助父母监控孩子的在线活动,限制访问...

    通过视频地址获取视频缩略图

    本教程将深入探讨如何仅通过视频地址来获取视频的缩略图,这是一个高效且实用的技术。以下是对这个主题的详细阐述: 1. **视频缩略图的概念**:视频缩略图,也称为预览图像或帧截图,是视频内容的一个静态表示,...

    易语言纯API取\读写IE浏览器地址栏地址

    2、当前浏览了一个好的网站,想对网页内容进行读取或者下载或者捕捉,则需要用到取当前浏览器地址。说明:。1、找了很久,有一部分例子,但都不是很完全好用,自己研究一番,了解后修改写出比较详细的一个版本,备注...

    网页模板下载地址

    网页模板可以通过多种途径获得,包括但不限于: - **免费资源网站**:互联网上有许多提供免费网页模板的网站,这些模板虽然可能在设计上不如付费模板精致,但对于预算有限的个人或小企业来说,是一个不错的选择。 -...

    php网页展现访客IP地址和城市

    通过以上方法,你可以在PHP网页上显示访客的IP地址和所在城市。结合其他Web开发技术,你可以进一步优化用户体验,例如根据用户地理位置显示本地化内容,或者提供相关的地理定位服务。但务必注意保护用户隐私,遵守...

    使用Word2021保存禁止复制的网页内容.docx

    通过“文件”>“打开”菜单命令,用户可以直接输入网页URL,将网页内容加载到Word文档中。这种方法尤其适用于那些有复制限制的网页,因为Word会绕过网页的版权保护机制。 2. **打开网页内容**: 在“打开”对话框...

Global site tag (gtag.js) - Google Analytics