package httptest.demo.test1; import java.io.BufferedReader; import java.io.DataOutputStream; import java.io.IOException; import java.io.InputStreamReader; import java.io.UnsupportedEncodingException; import java.net.HttpURLConnection; import java.net.MalformedURLException; import java.net.URL; public class demo1 { //添加url public static final String Add_url="http://xiaojingjing.iteye.com/"; public static void addpost() throws IOException{ //创建连接 try { URL url=new URL(Add_url); HttpURLConnection connection =(HttpURLConnection)url.openConnection(); connection.setDoOutput(true); connection.setDoInput(true); connection.setRequestMethod("POST"); connection.setUseCaches(false); connection.setInstanceFollowRedirects(true); connection.setRequestProperty("Content-Type","application/x-www-form-urlencoded"); connection.connect(); //POST请求 DataOutputStream out=new DataOutputStream(connection.getOutputStream()); // out.writeBytes("email"); out.flush(); out.close(); //读取响应 BufferedReader reader=new BufferedReader(new InputStreamReader(connection.getInputStream())); String lines; StringBuffer sb=new StringBuffer(""); while((lines = reader.readLine())!=null){ lines =new String(lines.getBytes(),"utf-8"); sb.append(lines); } System.out.println(sb); reader.close(); connection.disconnect(); } catch (MalformedURLException e) { // TODO Auto-generated catch block e.printStackTrace(); } catch (UnsupportedEncodingException e) { // TODO Auto-generated catch block e.printStackTrace(); } catch (IOException e) { // TODO Auto-generated catch block e.printStackTrace(); } } public static void main(String args[]) throws IOException { addpost(); } }
如果网站屏蔽了“爬虫”,就会获取不到网页内容,只能返回一个状态码。
相关推荐
总结一下,根据URL获取页面截图是通过Java的`java.net.URL`和`java.awt.Robot`类实现的,它可以方便地获取并保存网页的视觉表示。这个功能在很多应用场景中都十分有用,比如自动化测试中验证网页布局,或者用于数据...
在Java编程语言中,获取URL是一项基础且重要的任务,它涉及到网络编程和数据抓取领域。本示例的"GetURL.java"文件提供了一个简单的Java程序,用于抓取网页上的URL地址,为构建网络爬虫提供了基本框架。下面将详细...
综上所述,通过Java的HttpClient库,可以在Eclipse环境中编写程序,实现从指定URL下载文件到本地的功能。通过理解HttpClient的工作原理和提供的API,开发者可以构建出稳定、高效的文件下载解决方案。
在Java编程语言中,实现一个能抓取网站URL并提供分析功能的系统涉及到多个关键知识点。这个系统通常被称为网络爬虫或网页抓取工具,它能够自动遍历互联网上的页面,提取所需信息,并进行一定程度的分析。以下是一些...
- 如果在5次尝试内成功获取到了200状态码,则认为URL是有效的。 #### 四、获取服务器响应 当与服务器建立连接后,我们可能还需要获取服务器的响应。下面的示例展示了如何实现这一点: ```java import java.net....
综上所述,`java.net.URL`类及其相关方法为基于URL的Java网络编程提供了强大的支持,使得开发人员能够方便地实现对网络资源的访问和操作。通过对URL的理解和掌握,开发人员可以更加灵活地利用Java进行网络编程。
在传统的Java Web应用中,用户请求到达服务器后,服务器会解析请求,执行相应的Java代码(如Servlet或JSP),通过这些代码与数据库交互,获取数据,然后动态生成HTML页面返回给客户端。这个过程中涉及到了多次I/O...
Java 抓取与采集页面内容是一项常见的任务,特别是在大数据分析、搜索引擎优化(SEO)和网络监控等领域。这个压缩包中的两个文件,`HttpCon.java` 和 `ChunkedInputStream.java`,可能包含了实现这一功能的基本组件...
在本文中,我们将深入探讨如何使用Java来实现一个支付充值的通用流程。这个流程涉及到的主要...在实际开发中,还需要考虑异常处理、安全防护(如防止XSS攻击、CSRF攻击等)、支付状态同步与异步通知、交易退款等功能。
在本实验中,我们将探索如何在Windows环境下使用Java语言实现一个基本的Web服务器。这个实践项目旨在深化学生对HTTP协议的理解,以及Web服务器的工作机制。HTTP(超文本传输协议)是互联网上应用最为广泛的一种网络...
首先,我们需要理解HTTP协议的基本概念,它是客户端与服务器之间交互的一种协议,通常用于获取HTML页面。 在Java中,可以使用多种库来实现HTTP请求,例如`java.net.HttpURLConnection`或Apache的HttpClient库。这里...
本压缩包文件“页面的增删改查代码-java”提供了Java实现的CRUD功能示例,配合SQL数据库,对于学习或开发具有数据管理需求的项目非常有帮助。 首先,让我们详细了解一下CRUD的含义: 1. **创建(Create)**:这是向...
通过阅读和学习这些代码,你可以更深入地了解Java如何与第三方服务进行交互,以及Spring Security OAuth2的具体用法。此外,你还可以结合文档和示例,进一步扩展和优化你的第三方登录功能,例如支持更多的社交平台,...
在Java开发中,获取微信用户信息通常涉及到微信官方提供的OAuth2.0授权协议。OAuth2.0是一个开放标准,允许用户提供一个令牌,而不是用户名和密码来访问他们存储在特定服务提供者上的信息。这种方式允许用户授权第三...
本示例工程"Java通过jQuery实现ajax异步请求"着重展示了如何利用jQuery的AJAX功能与后端Java服务器进行数据通信,从而实现页面的无刷新更新。以下将详细解释这个过程中涉及的关键知识点。 首先,jQuery是一个强大的...
首先,我们通过GET请求获取登录页面的HTML,然后解析HTML以获取登录表单所需的参数。接着,构造POST请求,携带用户名和密码进行登录。如果登录成功,我们会保存获取到的cookie信息,以便在后续的购票请求中使用。 ...
Java代码示例可能涉及到这两部分API的使用,比如创建和编辑文档、获取文档状态、设置协作用户等。 在Java编程中,通常我们会使用HTTP客户端库如Apache HttpClient或者OkHttp来发送HTTP请求到OnlyOffice的API端点。...
示例代码展示了如何实现这样的Spider类,它通过一个实现了`ISpiderReportable`接口的对象来与外部程序进行通信。 ##### 2.2 示例程序结构 - **主程序**:负责初始化Spider类,启动爬虫进程。 - **Spider类**:负责...
5. **处理响应**:在`init`函数中,检查请求状态码是否为200(成功),如果是,则获取服务器返回的数据并更新页面上显示时间的部分;如果不是200,则提示错误信息。 ### 代码解析 - **HTML结构**:页面包含一个`...
对于分页,可以通过修改URL中的页码参数来获取不同页面的内容;对于登录验证,可能需要设置请求头或使用Cookie来模拟用户登录状态;而对于反爬策略,可能需要设置延迟、随机User-Agent,甚至使用代理IP。 此外,...