`

java实现通过url获取状态码与页面内容

    博客分类:
  • java
阅读更多
package httptest.demo.test1;

import java.io.BufferedReader;
import java.io.DataOutputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.UnsupportedEncodingException;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;

public class demo1 {
	//添加url
public static final String Add_url="http://xiaojingjing.iteye.com/";

public static void addpost() throws IOException{
	//创建连接
	try {
		URL url=new URL(Add_url);
		HttpURLConnection connection =(HttpURLConnection)url.openConnection();
		connection.setDoOutput(true);
		connection.setDoInput(true);
		connection.setRequestMethod("POST");
		connection.setUseCaches(false);
		connection.setInstanceFollowRedirects(true);
		connection.setRequestProperty("Content-Type","application/x-www-form-urlencoded");
		connection.connect();
		
		//POST请求
		DataOutputStream out=new DataOutputStream(connection.getOutputStream());
//		out.writeBytes("email");
		out.flush();
		out.close();
		//读取响应
		BufferedReader reader=new BufferedReader(new InputStreamReader(connection.getInputStream()));
		String lines;
		StringBuffer sb=new StringBuffer("");
		while((lines = reader.readLine())!=null){
			lines =new String(lines.getBytes(),"utf-8");
			sb.append(lines);
		}
		System.out.println(sb);
		reader.close();
		connection.disconnect();
	 } catch (MalformedURLException e) {
         // TODO Auto-generated catch block
         e.printStackTrace();
     } catch (UnsupportedEncodingException e) {
         // TODO Auto-generated catch block
         e.printStackTrace();
     } catch (IOException e) {
         // TODO Auto-generated catch block
         e.printStackTrace();
     }
}
public static void main(String args[]) throws IOException
{
	addpost();
	}
}

 如果网站屏蔽了“爬虫”,就会获取不到网页内容,只能返回一个状态码。

分享到:
评论

相关推荐

    根据url来获取页面的截图

    总结一下,根据URL获取页面截图是通过Java的`java.net.URL`和`java.awt.Robot`类实现的,它可以方便地获取并保存网页的视觉表示。这个功能在很多应用场景中都十分有用,比如自动化测试中验证网页布局,或者用于数据...

    url获取的java源代码

    在Java编程语言中,获取URL是一项基础且重要的任务,它涉及到网络编程和数据抓取领域。本示例的"GetURL.java"文件提供了一个简单的Java程序,用于抓取网页上的URL地址,为构建网络爬虫提供了基本框架。下面将详细...

    java使用HttpClient通过url下载文件到本地

    综上所述,通过Java的HttpClient库,可以在Eclipse环境中编写程序,实现从指定URL下载文件到本地的功能。通过理解HttpClient的工作原理和提供的API,开发者可以构建出稳定、高效的文件下载解决方案。

    JAVA实现的能抓取网站url提供分析等功能

    在Java编程语言中,实现一个能抓取网站URL并提供分析功能的系统涉及到多个关键知识点。这个系统通常被称为网络爬虫或网页抓取工具,它能够自动遍历互联网上的页面,提取所需信息,并进行一定程度的分析。以下是一些...

    java 对URL相关处理

    - 如果在5次尝试内成功获取到了200状态码,则认为URL是有效的。 #### 四、获取服务器响应 当与服务器建立连接后,我们可能还需要获取服务器的响应。下面的示例展示了如何实现这一点: ```java import java.net....

    基于URL的Java网络编程

    综上所述,`java.net.URL`类及其相关方法为基于URL的Java网络编程提供了强大的支持,使得开发人员能够方便地实现对网络资源的访问和操作。通过对URL的理解和掌握,开发人员可以更加灵活地利用Java进行网络编程。

    java 页面静态化

    在传统的Java Web应用中,用户请求到达服务器后,服务器会解析请求,执行相应的Java代码(如Servlet或JSP),通过这些代码与数据库交互,获取数据,然后动态生成HTML页面返回给客户端。这个过程中涉及到了多次I/O...

    java抓取与采集页面内容 喜欢的拿去研究下

    Java 抓取与采集页面内容是一项常见的任务,特别是在大数据分析、搜索引擎优化(SEO)和网络监控等领域。这个压缩包中的两个文件,`HttpCon.java` 和 `ChunkedInputStream.java`,可能包含了实现这一功能的基本组件...

    基于Java代码实现支付充值的通用流程

    在本文中,我们将深入探讨如何使用Java来实现一个支付充值的通用流程。这个流程涉及到的主要...在实际开发中,还需要考虑异常处理、安全防护(如防止XSS攻击、CSRF攻击等)、支付状态同步与异步通知、交易退款等功能。

    计算机网络实验一 Windows环境下用java实现web服务器

    在本实验中,我们将探索如何在Windows环境下使用Java语言实现一个基本的Web服务器。这个实践项目旨在深化学生对HTTP协议的理解,以及Web服务器的工作机制。HTTP(超文本传输协议)是互联网上应用最为广泛的一种网络...

    java http方式抓取网页信息 JAVAIO

    首先,我们需要理解HTTP协议的基本概念,它是客户端与服务器之间交互的一种协议,通常用于获取HTML页面。 在Java中,可以使用多种库来实现HTTP请求,例如`java.net.HttpURLConnection`或Apache的HttpClient库。这里...

    页面的增删改查代码-java

    本压缩包文件“页面的增删改查代码-java”提供了Java实现的CRUD功能示例,配合SQL数据库,对于学习或开发具有数据管理需求的项目非常有帮助。 首先,让我们详细了解一下CRUD的含义: 1. **创建(Create)**:这是向...

    Java实现第三方登录

    通过阅读和学习这些代码,你可以更深入地了解Java如何与第三方服务进行交互,以及Spring Security OAuth2的具体用法。此外,你还可以结合文档和示例,进一步扩展和优化你的第三方登录功能,例如支持更多的社交平台,...

    java获取微信用户信息

    在Java开发中,获取微信用户信息通常涉及到微信官方提供的OAuth2.0授权协议。OAuth2.0是一个开放标准,允许用户提供一个令牌,而不是用户名和密码来访问他们存储在特定服务提供者上的信息。这种方式允许用户授权第三...

    Java通过jQuery实现ajax异步请求

    本示例工程"Java通过jQuery实现ajax异步请求"着重展示了如何利用jQuery的AJAX功能与后端Java服务器进行数据通信,从而实现页面的无刷新更新。以下将详细解释这个过程中涉及的关键知识点。 首先,jQuery是一个强大的...

    OnlyOffice官网示例Java代码

    Java代码示例可能涉及到这两部分API的使用,比如创建和编辑文档、获取文档状态、设置协作用户等。 在Java编程中,通常我们会使用HTTP客户端库如Apache HttpClient或者OkHttp来发送HTTP请求到OnlyOffice的API端点。...

    Java写一个自动抢火车票的程序详情讲解包含代码实现.doc

    首先,我们通过GET请求获取登录页面的HTML,然后解析HTML以获取登录表单所需的参数。接着,构造POST请求,携带用户名和密码进行登录。如果登录成功,我们会保存获取到的cookie信息,以便在后续的购票请求中使用。 ...

    网络爬虫Java实现原理

    示例代码展示了如何实现这样的Spider类,它通过一个实现了`ISpiderReportable`接口的对象来与外部程序进行通信。 ##### 2.2 示例程序结构 - **主程序**:负责初始化Spider类,启动爬虫进程。 - **Spider类**:负责...

    Ajax实现不刷屏的前提下实现页面定时刷新(代码)

    5. **处理响应**:在`init`函数中,检查请求状态码是否为200(成功),如果是,则获取服务器返回的数据并更新页面上显示时间的部分;如果不是200,则提示错误信息。 ### 代码解析 - **HTML结构**:页面包含一个`...

    网络爬虫页面检索器(java代码)

    对于分页,可以通过修改URL中的页码参数来获取不同页面的内容;对于登录验证,可能需要设置请求头或使用Cookie来模拟用户登录状态;而对于反爬策略,可能需要设置延迟、随机User-Agent,甚至使用代理IP。 此外,...

Global site tag (gtag.js) - Google Analytics