- 浏览: 561772 次
- 性别:
- 来自: 杭州
文章分类
- 全部博客 (478)
- lucene (45)
- oracle (19)
- nutch (2)
- blog (2)
- 垂直搜索 (19)
- java综合 (89)
- spring (15)
- Hibernate (9)
- Struts (9)
- Hadoop (16)
- Mysql (12)
- nosql (10)
- Linux (3)
- MyEclipse (4)
- Ant (1)
- 设计模式 (19)
- JBPM (1)
- JSP (1)
- HtmlParser (5)
- SVN (2)
- 插件 (2)
- 收藏 (7)
- Others (1)
- Heritrix (18)
- Solr (4)
- 主题爬虫 (31)
- 内存数据库 (24)
- 分布式与海量数据 (32)
- httpclient (14)
- Tomcat (1)
- 面试宝典 (6)
- Python (14)
- 数据挖掘 (1)
- 算法 (6)
- 其他 (4)
- JVM (12)
- Redis (18)
最新评论
-
hanjiyun:
本人水平还有待提高,进步空间很大,看这些文章给我有很大的指导作 ...
JVM的内存管理 Ⅲ -
liuxinglanyue:
四年后的自己:这种方法 不靠谱。 使用javaagent的方式 ...
计算Java对象占用内存空间的大小(对于32位虚拟机而言) -
jaysoncn:
附件在哪里啊test.NoCertificationHttps ...
使用HttpClient过程中常见的一些问题 -
231fuchenxi:
你好,有redis,memlink,mysql的测试代码吗?可 ...
MemLink 性能测试 -
guyue1015:
[color=orange][/color][size=lar ...
JAVA同步机制
来自:深沉的船
* 1,在HTTP的WEB应用中, 应用客户端和服务器之间的状态是通过Session来维持的, 而Session的本质就是Cookie,
* 简单的讲,当浏览器向服务器发送Http请求的时候, HTTP服务器会产生一个SessionID,这个SessionID就唯一的标识了一个客户端到服务器的请求会话过程.
* 就如同一次会议开始时,主办方给每位到场的嘉宾一个临时的编号胸牌一样, 可以通过这个编号记录每个嘉宾(客户端)的活动(请求状态).
* 为了保持这个状态, 当服务端向客户端回应的时候,会附带Cookie信息,当然,Cookie里面就包含了SessionID
* 客户端在执行一系列操作时向服务端发送请求时,也会带上这个SessionID, 一般来说,Session也是一个URL QueryParameter ,就是说,session可以以Key-Value的形式通过URL传递
* 比如,http://www.51etest.com/dede/login.php?PHPSESSIONID=7dg3dsf19SDf73wqc32fdsf
* 一般而言,浏览器会自动把此Session信息放入Header报文体中进行传递.
* 如果浏览器不支持Cookie,那么,浏览器会自动把SessionID附加到URL中去.
*
* 2,在这个例子中,以登陆这个功能点进行讲解.
* 首先,我们登陆的页面是http://www.51etest.com/dede, 我们第一次访问这个页面后,可以从服务器过来的Http Response报文中的Header中找出服务器与浏览器向关联的数据 -- Cookie,
* 而且Session的值也在Cookie中. 于是,我们可以通过分析Set-Cookie这个Header中的参数的值,找到Seesion的Key-Value段.
* 然后,我们再向服务器发送请求,请求URL为:post@@http://www.51etest.com/dede/login.php@@userid=admin&pwd=tidus2005&gotopage=/dede/&dopost=login
* 服务器验证登陆成功了, 并且在此次会话变量中增加了我们登陆成功的标识.
*
* 3,增加一个广告定义
* 增加一个广告定义其实就是一个添加数据的过程,无非是我们把我们要添加的数据通过参数的形式告诉指定url页面,页面获取后添加到数据库去而已.
* 此url地址为:
* post@@http://www.51etest.com/dede/ad_add.php@@dopost=save&tagname=test&typeid=0&adname=test&starttime=2008-05-29
* 因为这个页面会先判断我是否登陆
* 而判断的依据,前面讲了,就是根据我请求时的SessionID找到指定的Session数据区中是否存在我的登陆信息,
* 所以我当然要把访问登陆页面时获取的SessionID原封不动的再发回去
* 相当于对服务器说,这是我刚刚来时,你发我的临时身份证,我现在可以形势我的权利。
*
* 这就是整个Java后台登陆网站,然后添加数据的过程。
/** * */ package sky.dong.test; import java.io.BufferedReader; import java.io.InputStreamReader; import org.apache.commons.httpclient.Cookie; import org.apache.commons.httpclient.Header; import org.apache.commons.httpclient.HttpClient; import org.apache.commons.httpclient.NameValuePair; import org.apache.commons.httpclient.cookie.CookiePolicy; import org.apache.commons.httpclient.methods.PostMethod; import org.apache.commons.httpclient.params.HttpMethodParams; /** * @author 核弹头 * Email:happyman_dong@sina.com 版权所有 盗版必究 * @since 2009-8-11 * @version 1.0 */ public class HttpLoginTest { public static void main(String[] args) { String url = "http://discuzdemo.c88.53dns.com/logging.php?action=login&loginsubmit=yes&floatlogin=yes";//论坛的登陆页面 String url2="http://discuzdemo.c88.53dns.com/post.php?infloat=yes&action=newthread&fid=2&extra=&topicsubmit=yes&inajax=1";//论坛的发贴页面 HttpClient httpClient = new HttpClient(); //httpClient.getHostConfiguration().setProxy("222.247.62.195", 8080); httpClient.getParams().setCookiePolicy( CookiePolicy.BROWSER_COMPATIBILITY); PostMethod postMethod = new PostMethod(url); PostMethod postMethod2 = new PostMethod(url2); NameValuePair[] data = { new NameValuePair("username", "123"), new NameValuePair("referer", "http://discuzdemo.c88.53dns.com/index.php"), new NameValuePair("password", "123"), new NameValuePair("loginfield", "username"), new NameValuePair("questionid", "0"), new NameValuePair("formhash", "fc922ca7") }; postMethod.setRequestHeader("Referer", "http://discuzdemo.c88.53dns.com/index.php"); postMethod.setRequestHeader("Host", "discuzdemo.c88.53dns.com"); // postMethod.setRequestHeader("Connection", "keep-alive"); // postMethod.setRequestHeader("Cookie", "jbu_oldtopics=D123D; // jbu_fid2=1249912623; smile=1D1; jbu_onlineusernum=2; // jbu_sid=amveZM"); postMethod .setRequestHeader( "User-Agent", "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.2) Gecko/20090729 Firefox/3.5.2"); postMethod .setRequestHeader("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8"); // postMethod.setRequestHeader("Accept-Encoding", "gzip,deflate"); // postMethod.setRequestHeader("Accept-Language", "zh-cn"); // postMethod.setRequestHeader("Accept-Charset", // "GB2312,utf-8;q=0.7,*;q=0.7"); postMethod.setRequestBody(data); try { httpClient.executeMethod(postMethod); StringBuffer response = new StringBuffer(); BufferedReader reader = new BufferedReader(new InputStreamReader( postMethod.getResponseBodyAsStream(), "gb2312"));//以gb2312编码方式打印从服务器端返回的请求 String line; while ((line = reader.readLine()) != null) { response.append(line).append( System.getProperty("line.separator")); } reader.close(); Header header = postMethod.getResponseHeader("Set-Cookie"); Cookie[] cookies=httpClient.getState().getCookies();//取出登陆成功后,服务器返回的cookies信息,里面保存了服务器端给的“临时证” String tmpcookies=""; for(Cookie c:cookies){ tmpcookies=tmpcookies+c.toString()+";"; System.out.println(c); } System.out.println(tmpcookies); // System.out.println(header.getValue()); System.out.println(response); NameValuePair[] data2 = { new NameValuePair("subject", "测试自动发贴"), new NameValuePair("message", "能否发贴成功呢?测试一下就知道了"), new NameValuePair("updateswfattach", "0"), new NameValuePair("wysiwyg", "0"), new NameValuePair("checkbox", "0"), new NameValuePair("handlekey", "newthread"), new NameValuePair("formhash", "885493ec") }; postMethod2.setRequestHeader("cookie",tmpcookies);//将“临时证明”放入下一次的发贴请求操作中 postMethod2.getParams().setParameter(HttpMethodParams.HTTP_CONTENT_CHARSET, "gbk");//因为发贴时候有中文,设置一下请求编码 postMethod2.setRequestHeader("Referer", "http://discuzdemo.c88.53dns.com/forumdisplay.php?fid=4"); postMethod2.setRequestHeader("Host", "discuzdemo.c88.53dns.com"); // postMethod.setRequestHeader("Connection", "keep-alive"); // postMethod.setRequestHeader("Cookie", "jbu_oldtopics=D123D; // jbu_fid2=1249912623; smile=1D1; jbu_onlineusernum=2; // jbu_sid=amveZM"); postMethod2 .setRequestHeader( "User-Agent", "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.2) Gecko/20090729 Firefox/3.5.2"); postMethod2 .setRequestHeader("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");//以上操作是模拟浏览器的操作,使用服务器混淆 postMethod2.setRequestBody(data2); httpClient.executeMethod(postMethod2); StringBuffer response1 = new StringBuffer(); BufferedReader reader1 = new BufferedReader(new InputStreamReader( postMethod2.getResponseBodyAsStream(), "gb2312")); String line1; while ((line1 = reader1.readLine()) != null) { response1.append(line1).append( System.getProperty("line.separator")); } reader1.close(); System.out.println(response1); } catch (Exception e) { System.out.println(e.getMessage()); // TODO: handle exception } finally { postMethod.releaseConnection(); postMethod2.releaseConnection(); } } }
以上代码完成一个登陆论坛后在指定的版块自动发贴的功能
发表评论
-
源码提供 —— 使用Apache Commons HttpClient灵活实现JAAS签权(转)
2010-12-12 10:52 1025JavaEE提供了JAAS安全机制,在架构一个web系统时,可 ... -
HttpClient的“Going to buffer response body of large or unknown size. Using getRes
2010-12-07 15:36 3205使用HttpClient,总是报出“Going to buff ... -
httpclient的并发连接问题
2010-12-07 15:33 1112转自:kafka0102 昨天的搜索系统又出状况了,几个 ... -
JAVA-用HttpClient来模拟浏览器GET,POST
2010-12-05 10:31 1251来自:深沉的船 一般 ... -
Java模拟HTTP的Get和Post请求
2010-12-05 10:30 1714来自:深沉的船 import java.io.Buff ... -
org.apache.commons.httpclient.HttpClient 基本功能
2010-12-05 10:27 4697来自:深沉的船 HttpClient 基本功能的使用GET ... -
使用HttpClient过程中常见的一些问题
2010-12-05 10:25 1412来自:深沉的船 下面介绍在使用HttpClient过 ... -
为 httpclient 设置代理, 设置http头
2010-12-05 10:23 2071来自:深沉的船 在学校园网,要代理才可上网。写程序获取网上资 ... -
利用httpclient+jericho多线程实现抓取网页内容
2010-12-05 10:15 1033来自:深沉的船 任务描述: 某图书网站按条件查 ... -
HttpClient 学习整理
2010-12-05 10:12 810来自:深沉的船 HttpClient 是我最近想研究的东西, ... -
httpclient校内模拟登录CNKI
2010-12-04 20:45 11021. HttpClient httpClient=n ... -
抓取防爬虫的网站信息
2010-12-04 20:35 2137有的网站限制网络爬虫的抓取,例如javaeye。会出现错误提示 ... -
Apache Common HttpClient使用之七种武器(转)
2010-11-16 21:59 9821.拳头之Get/Post拳头是最基本的一重武器,也是最重要的 ...
相关推荐
该项目为Java语言编写的模拟服务器与浏览器交互流程设计源码,包含110个文件,其中包含81个PNG图片文件、11个Java源代码文件、9个类文件、4个XML配置文件、2个属性文件、1个Git忽略文件以及1个Markdown文件,旨在...
【Web浏览器和服务器的设计与实现】的开题报告主要探讨了在J2EE平台上使用Java语言开发Web浏览器和服务器的技术细节。在这个项目中,我们关注的是如何构建一个交互式的、功能丰富的Web浏览器,并且理解服务器如何...
2. **编写Java Applet代码**:使用Java语言编写applet,包括绘图、响应用户输入、与服务器通信等功能。 3. **创建HTML页面**:学习如何在HTML页面中嵌入Java applet,设置必要的参数,如`<applet>`标签的`code`、`...
在Java编程中,获取浏览器的代理设置是一项重要的任务,特别是在开发网络应用或者需要模拟用户网络环境的场景下。本文将详细讲解如何利用Java来获取浏览器的代理设置,并结合提供的文件`registry.jar`和`ICE_...
5. **GUI编程**:Java Swing或JavaFX库用于创建用户界面,模拟浏览器的各种功能如地址栏、前进/后退按钮、书签等。 6. **多线程**:为了实现异步加载,浏览器通常会使用多线程,一个线程处理网络请求,另一个线程...
这使得它在不需要实际显示浏览器窗口的情况下进行自动化测试和网页操作,尤其适用于服务器端自动化场景。 **WebKit引擎** WebKit是开源的Web渲染引擎,被广泛用于许多操作系统和应用程序中,如Apple的Safari和...
8. **事件处理**:与UI相关的,需要编写事件处理器来响应用户的交互,例如点击按钮打开新页面,这涉及到JAVA的事件监听机制。 9. **异常处理**:在处理网络请求和解析响应时,可能会遇到各种异常,如`IOException`...
2. 渲染页面:对于页面的渲染,Java可以通过`javax.swing`库创建GUI组件来模拟浏览器界面,显示HTML内容。然而,Java图形界面(GUI)在复杂性和性能上可能不如专门的Web渲染引擎如WebKit或Blink。 3. 脚本支持:...
深入研究源码可以帮助你理解Doppio如何模拟JVM行为,以及如何实现与JavaScript环境的交互。 **开发语言** Doppio 的实现语言是JavaScript,这使得它能够很好地融入Web生态。JavaScript作为一个广泛使用的客户端...
通过Selenium WebDriver接口,开发者可以使用Python或Java编写测试脚本来模拟用户操作,如点击、输入、导航等。ChromeDriver适用于最新版本的Chrome浏览器,并且需要与浏览器版本相匹配,以确保兼容性。 2. **...
Java内嵌浏览器JxBrowser是一款强大的工具,它允许开发者在Java应用程序中集成Web浏览器功能,其内核基于Chromium,因此能良好地兼容大部分基于现代Web标准的前端框架,如React、Vue、Angular等。本教程将深入讲解...
对于需要在Java后端执行JavaScript的场景,可以使用Apache HttpClient模拟浏览器行为,或者使用Jsoup库解析和操作HTML文档。这样,Java可以发起HTTP请求,获取网页内容,然后通过JavaScript处理。 总之,Java和...
这个项目可能是一个学习和实践Java编程技巧的小实例,特别适合初学者理解Java如何与Web交互。Java浏览器的核心功能包括加载网页、解析HTML、渲染页面以及支持用户的一些基本操作,如前进、后退、刷新和书签管理。 ...
这段代码展示了如何使用Java实现一个简单的RTSP客户端,它与服务器进行交互以请求流媒体资源。以下是对代码中关键知识点的详细解释: 1. **RTSP协议**:RTSP是一种应用层协议,用于控制多媒体数据的传输。它允许...
在Java编程领域,创建一个基于Java的浏览器是一个挑战性的项目,它可以深化对JavaSE(标准版)的理解,尤其是Swing库的使用,用于构建图形用户界面(GUI)。这个“纯Java浏览器”项目,正如其名,完全由Java语言编写...
### JAVA模拟网页发送请求 #### 一、概述 在日常的开发工作中,有时我们需要通过程序自动地访问某个网站并获取其内容,或者模仿用户的行为进行登录等操作。这些需求可以通过模拟HTTP请求的方式实现。本篇文章将...
这个名为"WebBrowser"的项目,据描述是用Java编程语言实现的一个实验性浏览器,旨在提供基本的网页浏览功能。Java作为一种跨平台的编程语言,因其强大的面向对象特性而被广泛用于开发各种应用,包括网络应用。 首先...
本篇文章将详细讲解如何在Java中使用Session来模拟用户登录。 首先,我们需要理解Session的工作原理。Session是服务器为每个客户端(浏览器)创建的一个数据存储结构,通常是一个HashMap。当用户登录时,服务器会...
4. **用户编辑**: 用户在浏览器中看到的Word文档是PageOffice组件在服务器端模拟生成的,用户的所有编辑操作都会实时同步到服务器端的Word文档。 5. **保存文档**: 当用户完成编辑并点击“保存”按钮时,JavaScript...
我们将不依赖新浪提供的官方API,而是通过模拟浏览器的行为,实现自动化登录和交互。 首先,我们需要理解模拟登录的基本原理。它涉及到网络请求、HTTP协议、cookies管理以及可能的验证码处理。在Java中,我们可以...