HtmlUnit是Java一个开发工具包,利用它写的Java代码可以模仿人点击link,提交表单的功能.主要是用来测试.
可以到这里http://htmlunit.sourceforge.net/了解详细信息.
模仿一个特定的浏览器
通常您会希望将模拟特定浏览器.这样做是通过传递 com.gargoylesoftware.htmlunit.BrowserVersion到的WebClient构造。常数提供了一些常见的浏览器,但您可以创建自己的特定版本的执行一个BrowserVersion 。
Java代码 收藏代码
1. public void homePage_Firefox() throws Exception {
2. final WebClient webClient = new WebClient(BrowserVersion.FIREFOX_2);
3. final HtmlPage page = webClient.getPage("http://htmlunit.sourceforge.net");
4. assertEquals("HtmlUnit - Welcome to HtmlUnit", page.getTitleText());
5. }
public void homePage_Firefox() throws Exception {
final WebClient webClient = new WebClient(BrowserVersion.FIREFOX_2);
final HtmlPage page = webClient.getPage("http://htmlunit.sourceforge.net");
assertEquals("HtmlUnit - Welcome to HtmlUnit", page.getTitleText());
}
找到特定元素
一旦你得到了一个参考的HtmlPage ,您可以搜索特定HtmlElement之一的'get'方法,或使用的XPath 。下面是一个例子,找到一个'线'的ID ,搜到了锚的名字:
get 方法
Java代码 收藏代码
1. public void getElements() throws Exception {
2. final WebClient webClient = new WebClient();
3. final HtmlPage page = webClient.getPage("http://htmlunit.sourceforge.net");
4. final HtmlDivision div = page.getHtmlElementById("some_div_id");
5. final HtmlAnchor anchor = page.getAnchorByName("anchor_name");
public void getElements() throws Exception {
final WebClient webClient = new WebClient();
final HtmlPage page = webClient.getPage("http://htmlunit.sourceforge.net");
final HtmlDivision div = page.getHtmlElementById("some_div_id");
final HtmlAnchor anchor = page.getAnchorByName("anchor_name");
}
Xpath
Java代码 收藏代码
1. public void xpath() throws Exception {
2. final WebClient webClient = new WebClient();
3. final HtmlPage page = webClient.getPage("http://htmlunit.sourceforge.net");
4.
5. //get list of all divs
6. final List<?> divs = page.getByXPath("//div");
7.
8. //get div which has a 'name' attribute of 'John'
9. final HtmlDivision div = (HtmlDivision) page.getByXPath("//div[@name='John']").get(0);
10. }
public void xpath() throws Exception {
final WebClient webClient = new WebClient();
final HtmlPage page = webClient.getPage("http://htmlunit.sourceforge.net");
//get list of all divs
final List<?> divs = page.getByXPath("//div");
//get div which has a 'name' attribute of 'John'
final HtmlDivision div = (HtmlDivision) page.getByXPath("//div[@name='John']").get(0);
}
使用代理服务器
最后WebClient构造让您可以指定代理服务器信息,在这些情况下,你需要通过一个连接。
Java代码 收藏代码
1. public void homePage_proxy() throws Exception {
2. final WebClient webClient = new WebClient(BrowserVersion.FIREFOX_2, "http://myproxyserver", myProxyPort);
3.
4. //set proxy username and password
5. final DefaultCredentialsProvider credentialsProvider = (DefaultCredentialsProvider) webClient.getCredentialsProvider();
6. credentialsProvider.addProxyCredentials("username", "password");
7.
8. final HtmlPage page = webClient.getPage("http://htmlunit.sourceforge.net");
9. assertEquals("HtmlUnit - Welcome to HtmlUnit", page.getTitleText());
10. }
public void homePage_proxy() throws Exception {
final WebClient webClient = new WebClient(BrowserVersion.FIREFOX_2, "http://myproxyserver", myProxyPort);
//set proxy username and password
final DefaultCredentialsProvider credentialsProvider = (DefaultCredentialsProvider) webClient.getCredentialsProvider();
credentialsProvider.addProxyCredentials("username", "password");
final HtmlPage page = webClient.getPage("http://htmlunit.sourceforge.net");
assertEquals("HtmlUnit - Welcome to HtmlUnit", page.getTitleText());
}
指定此BrowserVersion将改变发送到服务器的用户代理header,这行影响一Javascript的一些行为 。
提交表单
我们经常需要改变表单元素的值,并且提交到服务器:
Java代码 收藏代码
1. public void submittingForm() throws Exception {
2. final WebClient webClient = new WebClient();
3.
4. // Get the first page
5. final HtmlPage page1 = webClient.getPage("http://some_url");
6.
7. // Get the form that we are dealing with and within that form,
8. // find the submit button and the field that we want to change.
9. final HtmlForm form = page1.getFormByName("myform");
10.
11. final HtmlSubmitInput button = form.getInputByName("submitbutton");
12. final HtmlTextInput textField = form.getInputByName("userid");
13.
14. // Change the value of the text field
15. textField.setValueAttribute("root");
16.
17. // Now submit the form by clicking the button and get back the second page.
18. final HtmlPage page2 = button.click();
19. }
分享到:
相关推荐
9. **commons-lang-2.4.jar**:Apache Commons Lang是Java语言工具库,包含了一系列实用方法,扩展了Java的标准类库,如字符串处理、日期时间操作等,增强了HTMLUtil的功能。 10. **cssparser-0.9.5.jar**:...
而"使用htmlutil下载网页图片"很可能是相关的代码示例或教程,详细描述了如何使用这个包来实现图片的下载和保存。 在实际应用中,处理网页数据时还需要考虑一些其他因素,比如错误处理(如网络连接失败、服务器返回...
使用HTMLUtil或HTMLUnit时,开发者可以编写代码来定位页面元素(如通过ID、类名或XPath),然后模拟用户对这些元素的点击或者其他交互。这通常涉及到解析HTTP响应,创建DOM对象,然后使用类似于Selenium WebDriver的...
【标题】"excel转换html类(Excel2HtmlUtil的JAVA类)"所涉及的知识点主要集中在Java编程语言上,特别是如何使用Java处理Excel文件并将其转换为HTML格式。这个标题表明存在一个名为`Excel2HtmlUtil`的Java类,该类实现...
在本项目中,我们主要探讨如何使用Java编程语言,结合HtmlUtil和Jsoup库来爬取并解析知网上的中国专利数据。知网是中国最大的学术文献数据库,包含大量的专利信息,对于研究者和开发者来说,能够高效地获取这些数据...
html 工具类 * @param disrPath 生成html的存放路径 * @param fileName 生成html名字 * @return void 返回类型
最新版htmlutil,java无界面浏览器开发包
这两个类通过html的路径,将html提取为html内容的字符串,然后进行提取body里的内容,进行去除行间样式以及css等,然后还可以去除空行等,筛选出不需要的标签,当前类保留img标签,转换后可以自行设置img网络地址,...
爬虫(Web Crawler)是一种自动化程序,用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储,以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。...
这个库在自动化测试、网页抓取以及其他需要与网页交互的场景中非常有用。通过HTMLUnit,开发者可以编写程序来模拟用户在浏览器上的操作,如点击链接、填写表单、执行JavaScript等,而无需真正打开一个浏览器实例。...
在IT行业中,Java是一种广泛使用的编程语言,尤其在处理数据转换和Web应用方面。... 首先,Apache POI是Java的一个开源库,专门用于处理Microsoft Office格式的文件,如Excel(.xls和.xlsx)。它提供了一组API,使开发...
htmlunit java版无界面浏览器 实现网页自动登录利器 官方最新下载 htmlunit 是一款开源的java 页面分析工具,读取页面后,可以有效的使用htmlunit分析页面上的内容。项目可以模拟浏览器运行,被誉为java浏览器的开源...
HTMLUnit是一个强大的Java库,它模拟了一个无头Web浏览器,主要用于自动化测试和网页抓取。... ...这对于创建自动化测试脚本或构建爬虫程序非常有用,因为它可以模拟用户与网页的交互,而无需真正打开浏览器。...
htmlunit是一款开源的java页面分析工具,读取页面后,可以有效的使用htmlunit分析页面上的内容。项目可以模拟浏览器运行,被誉为java浏览器的开源实现。这个没有界面的浏览器,运行速度也是非常迅速的。...
3. HTML 工具类:Hutool 的 HtmlUtil 工具类提供了 HTML 编码、解码、清除 HTML 标签、过滤 HTML 文本等功能,可以防止 XSS 攻击和 SQL 注入。 4. 定时任务:Hutool 的 CronUtil 工具类提供了定时任务的功能,支持 ...
6. **HTML源码解析**(HtmlUtil):HtmlUtil为解析和操作HTML文档提供了强大的工具,可以提取、修改网页元素,对于网页爬虫或自动化测试等场景尤其有用。 7. **图像处理**(ImageUtil):图像裁剪和缩放功能,使得...
msg)</p>`用于展示经过`HtmlUtil`对象处理后的`msg`对象的值。 2. **条件判断**:使用`#if($!obj)#else#end`进行条件判断。 - `($msg)> <script> alert('$!msg'); </script> #end>` 当`msg`对象存在时,显示警告框...
- `getterUtil`、`htmlUtil`、`httpUtil`、`imageToken`、`iteratorTool`、`listTool`、`localeUtil`、`mathTool`、`numberTool`、`paramUtil`、`portalUtil`、`portalprefsPropsUtil`、`propsUtil`、`...
- **HTTP客户端**:`HttpUtil`处理HTTP请求和响应,`HtmlUtil`解析HTML内容,`UserAgentUtil`生成和解析用户代理字符串。 - **定时任务**:`CronUtil`实现了基于Cron表达式的定时任务。 - **邮件工具**:`...