import java.io.BufferedReader;
import java.io.FileNotFoundException;
import java.io.FileReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.OutputStreamWriter;
import java.io.UnsupportedEncodingException;
import java.net.HttpURLConnection;
import java.net.URL;
import java.text.NumberFormat;
import java.text.SimpleDateFormat;
import java.util.Date;
/**
* This Class to test the PrintNet processing the snapshot performance.
* It's mainly to solve the out of memory issue.
*
* @author yfan
*
*/
public class PnSnapshotPerformanceTest extends Thread {
//TODO threadNumber
private static final int threadNumber = 50;//50
private static final int perThreadCreatSnpNumber = 20;//20
private static final String urlStr = "http://**************com:6080/pn_entry.jsp";
private static final SimpleDateFormat dateFomat =
new SimpleDateFormat("yyyy-MM-dd HH:mm:ss:ms");
public PnSnapshotPerformanceTest() {
super();
}
public PnSnapshotPerformanceTest(String name) {
super(name);
}
@Override
public void run() {
for (int i = 1; i <= perThreadCreatSnpNumber; i++) {
long startTime = System.currentTimeMillis();
System.out.println(getCurrDateStr() + " " + this.getName() + "_" + i + ": Start to handle the snapshot <<<<<<<<<<<<<<<<<<<<<<<<<<" + getCurrentMemoryInfo());
try {
doPost();// send post request
} catch (Exception e) {
e.printStackTrace();
}
long useTime = System.currentTimeMillis() - startTime;
System.out.println(getCurrDateStr() + " " +this.getName() + "_" + i + ": Handle the snapshot end >>>>>>>>>>>>>>>>>>>>>>>>>>>>use time: " + useTime/60000 + ":" + useTime%60000/1000 + ":" + useTime%60000%1000);
}
}
public void doPost() {
HttpURLConnection conn = null;
try {
URL url = new URL(urlStr);
conn = (HttpURLConnection) url.openConnection();
conn.setInstanceFollowRedirects(false);
conn.setDoOutput(true);
conn.setRequestMethod("POST");
//conn.setUseCaches(false);
//TODO test
String snapshotStr = readFile("C:/bill/HP/eclipse_workspace/DailyPractice/src/d20130304/snapshot.xml");
//String snapshotStr = readFile("C:/bill/HP/eclipse_workspace/DailyPractice/src/d20130304/snapshot_2.xml");
StringBuffer sb = new StringBuffer();
addPair(sb, "XML_string", snapshotStr);
String parametersStr = sb.substring(0, sb.length() - 1);
//System.out.println("parametersStr: \n" + parametersStr.substring(0, 1000));
OutputStreamWriter out = new OutputStreamWriter(conn.getOutputStream());
out.write(parametersStr);
out.flush();
out.close();
//conn.getInputStream();
BufferedReader reader = new BufferedReader(new InputStreamReader(conn.getInputStream()));
String line = null;
sb = new StringBuffer();
while ((line = reader.readLine()) != null) {
sb.append(line);
}
line = sb.toString();
System.out.println("return line: \n" + line);
//System.out.println(">>>>>>>>>>>>>>>>>>>>>>>Send request end. ");
System.out.println("conn.getResponseCode(): " + conn.getResponseCode());
} catch (IOException e) {
// handle e
System.out.println(">>>>>>>>>>>>>>IOException: " + e);
} finally {
if (conn != null) {
conn.disconnect();
//System.out.println("Disconnect successfully. ");
}
}
}
private String readFile(String filePath) {
FileReader fr = null;
BufferedReader br = null;
StringBuffer sBuffer = new StringBuffer();
try {
fr = new FileReader(filePath);// d20130304/snapshot.xml
} catch (FileNotFoundException e) {
e.printStackTrace();
}
br = new BufferedReader(fr);
String tempLine;
try {
tempLine = br.readLine();
while (tempLine != null) {
sBuffer.append(tempLine);
sBuffer.append("\n");
tempLine = br.readLine();
}
//System.out.println("sBuffer: \n" + sBuffer);
} catch (IOException e) {
e.printStackTrace();
} finally {
try {
if (br != null)
br.close();
if (fr != null)
fr.close();
} catch (IOException e) {
e.printStackTrace();
}
}
return sBuffer.toString().trim();
}
public static void addPair(StringBuffer sb, String name, String value)
throws UnsupportedEncodingException {
if (value == null) {
return;
}
sb.append(name);
sb.append("=");
sb.append(java.net.URLEncoder.encode(value, "UTF-8"));
sb.append("&");
}
public static String getCurrDateStr() {
Date date = new Date();
return dateFomat.format(date);
}
public String getCurrentMemoryInfo () {
StringBuilder sb = new StringBuilder();
try {
Runtime runtime = Runtime.getRuntime();
NumberFormat format = NumberFormat.getInstance();
long maxMemory = runtime.maxMemory();
long allocatedMemory = runtime.totalMemory();
long freeMemory = runtime.freeMemory();
sb.append("free memory: " + format.format(freeMemory / 1048576) + "; ");
sb.append("allocated memory: " + format.format(allocatedMemory / 1048576)
+ "; ");
sb.append("max memory: " + format.format(maxMemory / 1048576) + "; ");
sb.append("total free memory: "
+ format.format((freeMemory + (maxMemory - allocatedMemory)) / 1048576)
+ "; ");
return sb.toString();
} catch (Exception e) {
e.printStackTrace();
}
return sb.toString();
}
public static void main(String[] args) {
for (int i = 1; i <= threadNumber; i++) {
PnSnapshotPerformanceTest pspt = new PnSnapshotPerformanceTest("Thread_" + i);
pspt.start();
}
}
}
分享到:
相关推荐
Java多线程网络爬虫是一种高效地从互联网上抓取数据的技术,特别是在处理大量网页时,多线程能显著提高爬虫的效率。本项目以时光网(Mtime)为例,展示如何使用Java实现这样的爬虫。时光网是一个提供电影、电视剧、...
刚学完多线程和线程池,以及线程爱好者。 使用场景及目标: 大文件的快速下载,经测试在100M带宽的网络下,下载一个40M的文件,不超过两秒钟,当然还得根据自己电脑的配置来讲。 其他说明: 文件如果特别小,而...
这个Java多线程下载网站项目结合了网络编程、HTML解析、文件操作等多个Java核心概念,对于提升Java程序员的全栈开发能力具有很高的实践价值。通过学习和实践这个项目,开发者不仅可以掌握多线程下载的技巧,还能深入...
Java多线程文件分片下载实现的示例代码 本文将详细介绍Java多线程文件分片下载的实现示例代码,通过示例代码,大家可以学习和理解多线程文件分片下载的技术难点和解决方案。 多线程下载的技术难点 ---------------...
Java多线程下载工具,其核心思想是利用Java的并发特性来提高文件下载速度,模拟类似迅雷的高效下载体验。在实现这样的工具时,我们需要理解并掌握以下几个关键知识点: 1. **线程与并发**:Java中的多线程是通过`...
Java多线程技术在爬虫应用中的重要性不言而喻,它能显著提升图片抓取的效率。本文将深入探讨如何使用Java实现多线程爬虫,以及压缩包中的三个示例案例。 首先,我们需要了解Java中的多线程概念。在Java中,通过创建...
本文将深入探讨如何使用Java多线程来抓取去哪儿网(qunar)的机票数据,同时涉及httpclient和jsoup库的使用。 一、Java多线程基础 Java中的多线程主要通过Thread类或者实现Runnable接口来创建。通过继承Thread类,...
通过使用HttpClient的连接池和多线程,我们可以有效地并发执行HTTP GET请求,同时控制并发数量,避免过多的网络连接导致服务器压力过大。这种方式提高了请求效率,减少了资源消耗,并且遵循了最佳实践。
2. **Java多线程实现**: - 实现方式一:继承`Thread`类。创建一个新的类,继承自`Thread`,重写`run()`方法,然后创建该类的实例并调用`start()`方法启动线程。 - 实现方式二:实现`Runnable`接口。创建一个类,...
// 上述代码中的URL请求、解析和保存操作 }; executor.execute(task); } executor.shutdown(); ``` 在这个示例中,`urls`是一个包含多个URL的列表,每个URL都会被一个单独的线程处理。`executor.shutdown()`会...
b)通过URL对象的openConnection()方法打开连接,返回一个连接对象 c)设置请求头 i.setRequestMethod ii.setConnectTimeout iii.setReadTimeout d)判断是否响应成功 e)获取文件长度(getContentLength()) f)随机访问...
1. **Java多线程基础**:Java提供了两种创建线程的方式:继承Thread类和实现Runnable接口。在Web服务器源码中,通常会采用后者,因为这样可以避免单继承的限制,提高代码的可扩展性。 2. **Socket编程**:Web服务器...
通过以上步骤,我们可以构建一个基础的Java多线程爬虫。在实际应用中,可能还需要结合其他工具和技术,如Scrapy for Java、Nutch等高级爬虫框架,以及Apache Tika进行内容分析,或者使用Hadoop进行大数据处理。总之...
在Java编程语言中,多线程是实现并发执行...总的来说,这个开源项目为我们提供了一个学习Java多线程下载的实践案例,通过对源代码的分析和研究,我们可以深入理解Java多线程编程,以及如何在实际应用中解决并发问题。
总结,本项目展示了如何结合Java、Selenium和多线程技术实现高效且安全的网络爬虫。通过代理IP避免了被目标网站识别,提高了爬虫的生存能力。同时,项目的可扩展性也意味着它可以适应更多类似的需求,比如抓取其他...
下面是一个简单的Java多线程断点续传实现示例: ```java public class MultiThreadedDownload { private final int chunkSize; private final URL url; private final File outputFile; public ...
在Java编程中,多线程是一项关键特性,它允许程序同时执行多个任务,极大地提高了效率。在本案例中,我们将探讨如何...在这个案例中,不仅学习了Java多线程编程,还涉及到网络I/O、文件操作以及并发控制等多个知识点。
Java多线程下载是编程中一个实用且复杂的技术点,主要应用于提高文件下载速度和优化资源利用。在大型网络应用中,多线程技术能够显著提升用户体验,尤其是在处理大文件或者多个并发请求时。本篇将围绕Java实现多线程...