- 浏览: 135174 次
- 性别:
- 来自: 杭州
文章分类
- 全部博客 (84)
- Java (30)
- C/C++ (3)
- Linux (1)
- 数据库 (19)
- 搜索引擎 (1)
- 数据结构 (2)
- 杂七杂八 (4)
- WEB前端 (6)
- Spring (2)
- JavaScript (9)
- DHTMLX (3)
- 正则表达式 (1)
- JQuery (1)
- Report (2)
- PDF (2)
- Word (0)
- Excel (0)
- CSV (0)
- Test & QA (1)
- BI (Business Intelligence) (10)
- SQL (18)
- SAP Business Object (0)
- DataStage (3)
- CI (Continuous Integration) (1)
- Algorith (3)
- Portal (1)
- Struts (1)
- Oracle (9)
- MS SQL Server (3)
- Teradata (3)
- MySql (1)
- Data Warehouse (5)
- ETL (8)
首先,向一个Web站点发送POST请求只需要简单的几步:
注意,这里不需要导入任何第三方包
view plaincopy to clipboardprint?
package com.test;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.OutputStreamWriter;
import java.net.URL;
import java.net.URLConnection;
public class TestPost {
public static void testPost() throws IOException {
/**
* 首先要和URL下的URLConnection对话。 URLConnection可以很容易的从URL得到。比如: // Using
* java.net.URL and //java.net.URLConnection
*/
URL url = new URL("http://www.faircanton.com/message/check.asp");
URLConnection connection = url.openConnection();
/**
* 然后把连接设为输出模式。URLConnection通常作为输入来使用,比如下载一个Web页。
* 通过把URLConnection设为输出,你可以把数据向你个Web页传送。下面是如何做:
*/
connection.setDoOutput(true);
/**
* 最后,为了得到OutputStream,简单起见,把它约束在Writer并且放入POST信息中,例如: ...
*/
OutputStreamWriter out = new OutputStreamWriter(connection
.getOutputStream(), "8859_1");
out.write("username=kevin&password=*********"); //post的关键所在!
// remember to clean up
out.flush();
out.close();
/**
* 这样就可以发送一个看起来象这样的POST:
* POST /jobsearch/jobsearch.cgi HTTP 1.0 ACCEPT:
* text/plain Content-type: application/x-www-form-urlencoded
* Content-length: 99 username=bob password=someword
*/
// 一旦发送成功,用以下方法就可以得到服务器的回应:
String sCurrentLine;
String sTotalString;
sCurrentLine = "";
sTotalString = "";
InputStream l_urlStream;
l_urlStream = connection.getInputStream();
// 传说中的三层包装阿!
BufferedReader l_reader = new BufferedReader(new InputStreamReader(
l_urlStream));
while ((sCurrentLine = l_reader.readLine()) != null) {
sTotalString += sCurrentLine + "\r\n";
}
System.out.println(sTotalString);
}
public static void main(String[] args) throws IOException {
testPost();
}
}
执行的结果:(果真是返回了验证后的html阿!神奇!)
view plaincopy to clipboardprint?
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=gb2312" />
<title>账户已经冻结</title>
<style type="text/css">
<!--
.temp {
font-family: Arial, Helvetica, sans-serif;
font-size: 14px;
font-weight: bold;
color: #666666;
margin: 10px;
padding: 10px;
border: 1px solid #999999;
}
.STYLE1 {color: #FF0000}
-->
</style>
</head>
<body>
<p> </p>
<p> </p>
<p> </p>
<table width="700" border="0" align="center" cellpadding="0" cellspacing="0" class="temp">
<tr>
<td width="135" height="192"><div align="center"><img src="images/err.jpg" width="54" height="58"></div></td>
<td width="563"><p><span class="STYLE1">登录失败</span><br>
<br>
您的帐户活跃指数低于系统限制,您的帐户已经被暂时冻结。<br>
请您联系网络主管或者人事主管重新激活您的帐户。</p>
</td>
</tr>
</table>
<p> </p>
</body>
</html>
一些Web站点用POST形式而不是GET,这是因为POST能够携带更多的数据,而且不用URL,这使得它看起来不那么庞大。使用上面列出的大致的代码,Java代码可以和这些站点轻松的实现对话。
得到html以后,分析内容就显得相对轻松了。现在就可以使用htmlparser了,下面是一个简单的示例程序,过多的解释我就不说了,相信代码能够说明一切的!
view plaincopy to clipboardprint?
package com.test;
import org.htmlparser.Node;
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.filters.TagNameFilter;
import org.htmlparser.tags.TableTag;
import org.htmlparser.util.NodeList;
/**
* 标题:利用htmlparser提取网页纯文本的例子
*/
public class TestHTMLParser {
public static void testHtml() {
try {
String sCurrentLine;
String sTotalString;
sCurrentLine = "";
sTotalString = "";
java.io.InputStream l_urlStream;
java.net.URL l_url = new java.net.URL("http://www.ideagrace.com/html/doc/2006/07/04/00929.html");
java.net.HttpURLConnection l_connection = (java.net.HttpURLConnection) l_url.openConnection();
l_connection.connect();
l_urlStream = l_connection.getInputStream();
java.io.BufferedReader l_reader = new java.io.BufferedReader(new java.io.InputStreamReader(l_urlStream));
while ((sCurrentLine = l_reader.readLine()) != null) {
sTotalString += sCurrentLine+"\r\n";
// System.out.println(sTotalString);
}
String testText = extractText(sTotalString);
System.out.println( testText );
} catch (Exception e) {
e.printStackTrace();
}
}
public static String extractText(String inputHtml) throws Exception {
StringBuffer text = new StringBuffer();
Parser parser = Parser.createParser(new String(inputHtml.getBytes(),"GBK"), "GBK");
// 遍历所有的节点
NodeList nodes = parser.extractAllNodesThatMatch(new NodeFilter() {
public boolean accept(Node node) {
return true;
}
});
System.out.println(nodes.size()); //打印节点的数量
for (int i=0;i<nodes.size();i++){
Node nodet = nodes.elementAt(i);
//System.out.println(nodet.getText());
text.append(new String(nodet.toPlainTextString().getBytes("GBK"))+"\r\n");
}
return text.toString();
}
public static void test5(String resource) throws Exception {
Parser myParser = new Parser(resource);
myParser.setEncoding("GBK");
String filterStr = "table";
NodeFilter filter = new TagNameFilter(filterStr);
NodeList nodeList = myParser.extractAllNodesThatMatch(filter);
TableTag tabletag = (TableTag) nodeList.elementAt(11);
}
public static void main(String[] args) throws Exception {
// test5("http://www.ggdig.com");
testHtml();
}
}
注意,这里不需要导入任何第三方包
view plaincopy to clipboardprint?
package com.test;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.OutputStreamWriter;
import java.net.URL;
import java.net.URLConnection;
public class TestPost {
public static void testPost() throws IOException {
/**
* 首先要和URL下的URLConnection对话。 URLConnection可以很容易的从URL得到。比如: // Using
* java.net.URL and //java.net.URLConnection
*/
URL url = new URL("http://www.faircanton.com/message/check.asp");
URLConnection connection = url.openConnection();
/**
* 然后把连接设为输出模式。URLConnection通常作为输入来使用,比如下载一个Web页。
* 通过把URLConnection设为输出,你可以把数据向你个Web页传送。下面是如何做:
*/
connection.setDoOutput(true);
/**
* 最后,为了得到OutputStream,简单起见,把它约束在Writer并且放入POST信息中,例如: ...
*/
OutputStreamWriter out = new OutputStreamWriter(connection
.getOutputStream(), "8859_1");
out.write("username=kevin&password=*********"); //post的关键所在!
// remember to clean up
out.flush();
out.close();
/**
* 这样就可以发送一个看起来象这样的POST:
* POST /jobsearch/jobsearch.cgi HTTP 1.0 ACCEPT:
* text/plain Content-type: application/x-www-form-urlencoded
* Content-length: 99 username=bob password=someword
*/
// 一旦发送成功,用以下方法就可以得到服务器的回应:
String sCurrentLine;
String sTotalString;
sCurrentLine = "";
sTotalString = "";
InputStream l_urlStream;
l_urlStream = connection.getInputStream();
// 传说中的三层包装阿!
BufferedReader l_reader = new BufferedReader(new InputStreamReader(
l_urlStream));
while ((sCurrentLine = l_reader.readLine()) != null) {
sTotalString += sCurrentLine + "\r\n";
}
System.out.println(sTotalString);
}
public static void main(String[] args) throws IOException {
testPost();
}
}
执行的结果:(果真是返回了验证后的html阿!神奇!)
view plaincopy to clipboardprint?
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=gb2312" />
<title>账户已经冻结</title>
<style type="text/css">
<!--
.temp {
font-family: Arial, Helvetica, sans-serif;
font-size: 14px;
font-weight: bold;
color: #666666;
margin: 10px;
padding: 10px;
border: 1px solid #999999;
}
.STYLE1 {color: #FF0000}
-->
</style>
</head>
<body>
<p> </p>
<p> </p>
<p> </p>
<table width="700" border="0" align="center" cellpadding="0" cellspacing="0" class="temp">
<tr>
<td width="135" height="192"><div align="center"><img src="images/err.jpg" width="54" height="58"></div></td>
<td width="563"><p><span class="STYLE1">登录失败</span><br>
<br>
您的帐户活跃指数低于系统限制,您的帐户已经被暂时冻结。<br>
请您联系网络主管或者人事主管重新激活您的帐户。</p>
</td>
</tr>
</table>
<p> </p>
</body>
</html>
一些Web站点用POST形式而不是GET,这是因为POST能够携带更多的数据,而且不用URL,这使得它看起来不那么庞大。使用上面列出的大致的代码,Java代码可以和这些站点轻松的实现对话。
得到html以后,分析内容就显得相对轻松了。现在就可以使用htmlparser了,下面是一个简单的示例程序,过多的解释我就不说了,相信代码能够说明一切的!
view plaincopy to clipboardprint?
package com.test;
import org.htmlparser.Node;
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.filters.TagNameFilter;
import org.htmlparser.tags.TableTag;
import org.htmlparser.util.NodeList;
/**
* 标题:利用htmlparser提取网页纯文本的例子
*/
public class TestHTMLParser {
public static void testHtml() {
try {
String sCurrentLine;
String sTotalString;
sCurrentLine = "";
sTotalString = "";
java.io.InputStream l_urlStream;
java.net.URL l_url = new java.net.URL("http://www.ideagrace.com/html/doc/2006/07/04/00929.html");
java.net.HttpURLConnection l_connection = (java.net.HttpURLConnection) l_url.openConnection();
l_connection.connect();
l_urlStream = l_connection.getInputStream();
java.io.BufferedReader l_reader = new java.io.BufferedReader(new java.io.InputStreamReader(l_urlStream));
while ((sCurrentLine = l_reader.readLine()) != null) {
sTotalString += sCurrentLine+"\r\n";
// System.out.println(sTotalString);
}
String testText = extractText(sTotalString);
System.out.println( testText );
} catch (Exception e) {
e.printStackTrace();
}
}
public static String extractText(String inputHtml) throws Exception {
StringBuffer text = new StringBuffer();
Parser parser = Parser.createParser(new String(inputHtml.getBytes(),"GBK"), "GBK");
// 遍历所有的节点
NodeList nodes = parser.extractAllNodesThatMatch(new NodeFilter() {
public boolean accept(Node node) {
return true;
}
});
System.out.println(nodes.size()); //打印节点的数量
for (int i=0;i<nodes.size();i++){
Node nodet = nodes.elementAt(i);
//System.out.println(nodet.getText());
text.append(new String(nodet.toPlainTextString().getBytes("GBK"))+"\r\n");
}
return text.toString();
}
public static void test5(String resource) throws Exception {
Parser myParser = new Parser(resource);
myParser.setEncoding("GBK");
String filterStr = "table";
NodeFilter filter = new TagNameFilter(filterStr);
NodeList nodeList = myParser.extractAllNodesThatMatch(filter);
TableTag tabletag = (TableTag) nodeList.elementAt(11);
}
public static void main(String[] args) throws Exception {
// test5("http://www.ggdig.com");
testHtml();
}
}
发表评论
-
优秀程序员不得不知道的20个位运算技巧 【转】
2012-12-14 11:19 1499【转载】一提起位运算,人们往往想到它的高效性,无论是嵌入式编程 ... -
java导出csv用excel打开后数字不用科学计数法显示
2011-08-15 14:27 22154最近写了一个生成csv的程序,生成的csv其中有一列数字长度 ... -
java生成xml文件的时候如何控制xml的缩进格式
2011-07-26 16:22 1138使用java自带的xml api生 ... -
java读取配置文件的几种方法
2011-07-21 12:17 749java读取配置文件的几种方法 在现实工 ... -
正则表达式语法
2011-07-18 10:52 727一个正则表达式就是 ... -
CSDN上看到的一篇有关Spring JDBC事务管理的文章(内容比较全)
2011-07-08 16:18 1100JDBC事务管理 Spring提供编程式的事务管理(Progr ... -
Spring:JdbcTemplate使用指南
2011-07-07 21:35 1027前言: 本文指在介绍 Spring 框架 ... -
Java DATE 工具类
2011-07-05 12:18 2403public class DateUtil { / ... -
java中取小数点后两位(四种方法)
2011-07-01 16:33 1811一 Long是长整型,怎么有小数,是double吧 ... -
Java正则表达式(一)
2011-06-30 20:14 867正则表达式在处理文本方面用处非常大,最早像在Perl和awk语 ... -
Java正则表达式(二)
2011-06-30 20:13 1006Matcher类: 使用Matcher类,最重要的一个概念必须 ... -
DBUnit入门
2011-04-28 15:55 795相信做过单元测试的人都会对JUnit非常的熟悉了,今天要介绍的 ... -
一些经典算法题目
2011-02-03 21:28 8941.写一个方法,用一个fo ... -
求最大子序列和问题的最优算法
2010-12-17 19:42 885//求最大子序列和问题, public class ... -
Java UDP通信(DatagramPacket类、DatagramSocket类、InetAddress类)
2010-11-30 22:16 1490一、DatagramPacket类: 如果把Datagram ... -
Java向服务器发送POST请求
2010-10-30 19:06 2438public String sendToServer(Stri ... -
Struts1和Struts2的区别和对比
2010-10-30 13:23 8741.Action 类: • Struts1要求Action类 ... -
java.net.URL的URL构建方式
2010-10-30 13:21 880Tag:java.net.URL URL构建方式 ... -
Vector遍历的通用实现
2010-10-27 19:53 1598对于Vector,如果我们不用遍历,那么就要自己去写循环,也是 ... -
Http和Socket连接区别
2010-10-27 11:58 813Http和Socket连接区别 1、 ...
相关推荐
总的来说,Java发送HTTP请求和处理响应涉及网络编程、HTTP协议理解、异常处理、输入/输出流操作,以及可能的HTML解析和网页爬虫技术。这些知识对于任何想要构建Web客户端应用或进行数据抓取的开发者来说都是必不可少...
客户端发送一个HTTP请求,服务器处理并返回一个HTTP响应。请求由方法(GET、POST、PUT、DELETE等)、URL、版本号、状态码、头部和实体主体组成。响应包括状态码(如200表示成功,404表示未找到)、头部和响应体。 2...
这个项目旨在教你如何使用Java从零开始创建一个简单的HTTP服务器,同时处理HTTP协议解析,并返回HTML响应。以下是你需要掌握的关键知识点: 1. **HTTP协议基础**: - HTTP(超文本传输协议)是互联网上应用最广泛...
1. **HTTP客户端库**:Java提供了多种库来发送HTTP请求,如HttpURLConnection(Java内置)、Apache HttpClient或OkHttp。这些库允许我们构造POST请求,模拟用户登录过程,通常需要设置请求头(如User-Agent)、POST...
HTML显示返回结果**:当Java后端处理完请求并返回JSON数据时,JavaScript的AJAX回调函数可以接收到这个响应。然后,可以使用JSON.parse()解析JSON字符串为JavaScript对象,并将数据动态插入到HTML元素中。 ```...
Jsoup可以连接到网络上的页面,发送请求并获取响应,然后解析HTML内容,以方便开发者获取和操作文档结构、表单、链接、图片等信息。 ### HttpClient工具包 HttpClient是Apache提供的一个用于发送HTTP请求的客户端...
Java获取百度网盘真实下载链接的方法涉及到网络编程和解析网页数据的技术,主要步骤包括发送HTTP请求、解析HTML页面以及提取所需信息。以下是对这个过程的详细说明: 首先,要获取百度网盘的真实下载链接,我们需要...
- `get()`: 发送GET请求并获取HTML内容,返回一个`Document`对象,表示整个HTML文档。 - `parse()`: 直接解析HTML字符串为`Document`对象。 4. **HTML文档对象** - `Document`: 表示整个HTML文档,提供了一系列...
1. **请求发起**:当用户在浏览器中输入URL并按下回车键时,浏览器会构建一个HTTP请求报文,包括请求行(请求方法、URL、协议版本)、请求头部和可能的请求体,然后通过TCP连接发送给Web服务器。 2. **请求处理**:...
本实例将带你一步步探索如何利用Java实现一个简单的HTTP服务器,并通过源码解析来深化对HTTP协议的理解。 首先,让我们了解HTTP协议的基础。HTTP(超文本传输协议)是互联网上应用最为广泛的一种网络协议,用于从...
1. 发送HTTP请求:使用Java的HttpURLConnection或HttpClient,构造合适的GET或POST请求,向目标URL发起请求。 2. 接收HTTP响应:获取服务器返回的HTML页面内容。 3. 解析HTML:使用Jsoup或其他HTML解析器,分析HTML...
- **Long Polling(长轮询)**:客户端发起一个HTTP请求,服务器接收到请求后并不立即响应,而是保持连接打开状态,直到有新的消息需要推送时才返回响应,然后客户端再次发起请求,如此循环。 - **Streaming(流式...
在实际应用中,Java代码可能会通过Ajax发送一个请求到服务器,服务器解析请求后调用对应的JS函数,例如在"des.js"中执行解密操作,然后将结果返回给Java。"des.html"可能是展示解密结果的界面,"des.java"负责处理...
HTTP服务器的任务是接收客户端(通常是Web浏览器)的HTTP请求,并返回相应的HTTP响应,如HTML文档或图片等资源。 在Java中,我们可以使用Java的Socket编程来构建一个基本的HTTP服务器。`HttpGetServer`可能就是这样...
- **URL构造**:在Ajax请求中,URL决定了向服务器发送请求的目标地址,必须正确无误才能确保请求成功。 步骤1:设置Thymeleaf上下文 在Thymeleaf中,我们通常会使用`@{/}`来构建相对URL,它会根据当前请求路径自动...
在本项目中,HTML将构建网页的基本结构,而JavaScript则会负责与服务器的通信,即调用Ajax函数来发送请求。 具体步骤如下: 1. **HTML页面**:创建一个HTML页面,其中包含用于触发Ajax请求的元素,如按钮或表单。...
HTTP(超文本传输协议)是互联网...通过服务器处理请求、解析HTTP报文,以及客户端构造和发送请求,你可以深入了解HTTP通信的全过程。同时,它也演示了Java项目的基本结构和配置,对于Java开发者来说是一次很好的实践。
- 发送SOAP请求:Servlet可以使用`java.net.URLConnection`或Apache的 HttpClient库来构造和发送HTTP POST请求,其中请求体包含SOAP消息。 - 处理SOAP响应:接收到响应后,Servlet可以使用XML解析器解析响应体,...
例如,客户端使用UTF-8编码发送请求,但服务器端默认使用ISO-8859-1进行解码,这就会导致中文字符显示为乱码。 #### 2. 多次编码 在代码示例中,`url=encodeURI(url); url=encodeURI(url);` 这样的操作会导致URL被...