`

java多线程发送URL请求

 
阅读更多



import java.io.BufferedReader;
import java.io.FileNotFoundException;
import java.io.FileReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.OutputStreamWriter;
import java.io.UnsupportedEncodingException;
import java.net.HttpURLConnection;
import java.net.URL;
import java.text.NumberFormat;
import java.text.SimpleDateFormat;
import java.util.Date;

/**
 * This Class to test the PrintNet processing the snapshot performance.
 * It's mainly to solve the out of memory issue.
 * 
 * @author yfan
 *
 */
public class PnSnapshotPerformanceTest extends Thread {
  
  //TODO threadNumber
  private static final int threadNumber = 50;//50
  
  private static final int perThreadCreatSnpNumber = 20;//20
  
  private static final String urlStr = "http://**************com:6080/pn_entry.jsp";
  
  private static final SimpleDateFormat dateFomat =
      new SimpleDateFormat("yyyy-MM-dd HH:mm:ss:ms");
  
  public PnSnapshotPerformanceTest() {
    super();
  }

  public PnSnapshotPerformanceTest(String name) {
    super(name);
  }

  @Override
  public void run() {
    for (int i = 1; i <= perThreadCreatSnpNumber; i++) {
      long startTime = System.currentTimeMillis();
      System.out.println(getCurrDateStr() + " " + this.getName() + "_" + i + ": Start to handle the snapshot <<<<<<<<<<<<<<<<<<<<<<<<<<" + getCurrentMemoryInfo());
      
      try {
        doPost();// send post request
      } catch (Exception e) {
        e.printStackTrace();
      }
      
      long useTime = System.currentTimeMillis() - startTime;
      System.out.println(getCurrDateStr() + " " +this.getName() + "_" + i + ": Handle the snapshot end >>>>>>>>>>>>>>>>>>>>>>>>>>>>use time: " + useTime/60000 + ":" + useTime%60000/1000 + ":" + useTime%60000%1000);
    }
  }
  
  public void doPost() {
    HttpURLConnection conn = null;
    try {
      URL url = new URL(urlStr);
      conn = (HttpURLConnection) url.openConnection();
      conn.setInstanceFollowRedirects(false);
      conn.setDoOutput(true);
      conn.setRequestMethod("POST");
      //conn.setUseCaches(false);
    
      //TODO test
      String snapshotStr = readFile("C:/bill/HP/eclipse_workspace/DailyPractice/src/d20130304/snapshot.xml");
      //String snapshotStr = readFile("C:/bill/HP/eclipse_workspace/DailyPractice/src/d20130304/snapshot_2.xml");
      StringBuffer sb = new StringBuffer();
      addPair(sb, "XML_string", snapshotStr);
      String parametersStr = sb.substring(0, sb.length() - 1);
      //System.out.println("parametersStr: \n" + parametersStr.substring(0, 1000));
      
      OutputStreamWriter out = new OutputStreamWriter(conn.getOutputStream());
      out.write(parametersStr);
      out.flush();
      out.close();
      
      //conn.getInputStream();
      BufferedReader reader = new BufferedReader(new InputStreamReader(conn.getInputStream()));
      String line = null;
      sb = new StringBuffer();
      while ((line = reader.readLine()) != null) {
        sb.append(line);
      }
      
      line = sb.toString();
      System.out.println("return line: \n" + line);
      //System.out.println(">>>>>>>>>>>>>>>>>>>>>>>Send request end. ");
      
      System.out.println("conn.getResponseCode(): " + conn.getResponseCode());
    } catch (IOException e) {
      // handle e
      System.out.println(">>>>>>>>>>>>>>IOException: " + e);
    } finally {
      if (conn != null) {
        conn.disconnect();
        //System.out.println("Disconnect successfully. ");
      }
    }
  }
  
  private String readFile(String filePath) {
    FileReader fr = null;
    BufferedReader br = null;
    StringBuffer sBuffer = new StringBuffer();

    try {
      fr = new FileReader(filePath);// d20130304/snapshot.xml
    } catch (FileNotFoundException e) {
      e.printStackTrace();
    }

    br = new BufferedReader(fr);
    String tempLine;
    try {
      tempLine = br.readLine();
      while (tempLine != null) {
        sBuffer.append(tempLine);
        sBuffer.append("\n");
        tempLine = br.readLine();
      }
      //System.out.println("sBuffer: \n" + sBuffer);
    } catch (IOException e) {
      e.printStackTrace();
    } finally {
      try {
        if (br != null)
          br.close();
        if (fr != null)
          fr.close();
      } catch (IOException e) {
        e.printStackTrace();
      }
    }
    
    return sBuffer.toString().trim();
  }
  
  public static void addPair(StringBuffer sb, String name, String value)
      throws UnsupportedEncodingException {
    if (value == null) {
      return;
    }
    sb.append(name);
    sb.append("=");
    sb.append(java.net.URLEncoder.encode(value, "UTF-8"));
    sb.append("&");
  }
  
  public static String getCurrDateStr() {
    Date date = new Date();
    return dateFomat.format(date);
  }
  
  public String getCurrentMemoryInfo () {
    StringBuilder sb = new StringBuilder();
    try {
      Runtime runtime = Runtime.getRuntime();

      NumberFormat format = NumberFormat.getInstance();

      long maxMemory = runtime.maxMemory();
      long allocatedMemory = runtime.totalMemory();
      long freeMemory = runtime.freeMemory();

      sb.append("free memory: " + format.format(freeMemory / 1048576) + "; ");
      sb.append("allocated memory: " + format.format(allocatedMemory / 1048576)
          + "; ");
      sb.append("max memory: " + format.format(maxMemory / 1048576) + "; ");
      sb.append("total free memory: "
          + format.format((freeMemory + (maxMemory - allocatedMemory)) / 1048576)
          + "; ");

      return sb.toString();
    } catch (Exception e) {
      e.printStackTrace();
    }
    
    return sb.toString();
  }

  public static void main(String[] args) {
    for (int i = 1; i <= threadNumber; i++) {
      PnSnapshotPerformanceTest pspt = new PnSnapshotPerformanceTest("Thread_" + i);
      pspt.start();
    }
  }
  
}


分享到:
评论

相关推荐

    Java多线程网络爬虫(时光网为例)源码

    Java多线程网络爬虫是一种高效地从互联网上抓取数据的技术,特别是在处理大量网页时,多线程能显著提高爬虫的效率。本项目以时光网(Mtime)为例,展示如何使用Java实现这样的爬虫。时光网是一个提供电影、电视剧、...

    Java 利用多线程实现文件的分片下载

    刚学完多线程和线程池,以及线程爱好者。 使用场景及目标: 大文件的快速下载,经测试在100M带宽的网络下,下载一个40M的文件,不超过两秒钟,当然还得根据自己电脑的配置来讲。 其他说明: 文件如果特别小,而...

    Java 多线程下载网站

    这个Java多线程下载网站项目结合了网络编程、HTML解析、文件操作等多个Java核心概念,对于提升Java程序员的全栈开发能力具有很高的实践价值。通过学习和实践这个项目,开发者不仅可以掌握多线程下载的技巧,还能深入...

    Java多线程文件分片下载实现的示例代码

    Java多线程文件分片下载实现的示例代码 本文将详细介绍Java多线程文件分片下载的实现示例代码,通过示例代码,大家可以学习和理解多线程文件分片下载的技术难点和解决方案。 多线程下载的技术难点 ---------------...

    java多线程下载工具,仿照迅雷

    Java多线程下载工具,其核心思想是利用Java的并发特性来提高文件下载速度,模拟类似迅雷的高效下载体验。在实现这样的工具时,我们需要理解并掌握以下几个关键知识点: 1. **线程与并发**:Java中的多线程是通过`...

    java多线程抓取图片

    Java多线程技术在爬虫应用中的重要性不言而喻,它能显著提升图片抓取的效率。本文将深入探讨如何使用Java实现多线程爬虫,以及压缩包中的三个示例案例。 首先,我们需要了解Java中的多线程概念。在Java中,通过创建...

    java 多线程抓取去哪儿qunar机票数据

    本文将深入探讨如何使用Java多线程来抓取去哪儿网(qunar)的机票数据,同时涉及httpclient和jsoup库的使用。 一、Java多线程基础 Java中的多线程主要通过Thread类或者实现Runnable接口来创建。通过继承Thread类,...

    使用java的HttpClient实现多线程并发

    通过使用HttpClient的连接池和多线程,我们可以有效地并发执行HTTP GET请求,同时控制并发数量,避免过多的网络连接导致服务器压力过大。这种方式提高了请求效率,减少了资源消耗,并且遵循了最佳实践。

    java实现多线程下载

    2. **Java多线程实现**: - 实现方式一:继承`Thread`类。创建一个新的类,继承自`Thread`,重写`run()`方法,然后创建该类的实例并调用`start()`方法启动线程。 - 实现方式二:实现`Runnable`接口。创建一个类,...

    JAVA线程根据给定URL生成网页快照

    // 上述代码中的URL请求、解析和保存操作 }; executor.execute(task); } executor.shutdown(); ``` 在这个示例中,`urls`是一个包含多个URL的列表,每个URL都会被一个单独的线程处理。`executor.shutdown()`会...

    java多线程下载

    b)通过URL对象的openConnection()方法打开连接,返回一个连接对象 c)设置请求头 i.setRequestMethod ii.setConnectTimeout iii.setReadTimeout d)判断是否响应成功 e)获取文件长度(getContentLength()) f)随机访问...

    基于多线程的web服务器java源码

    1. **Java多线程基础**:Java提供了两种创建线程的方式:继承Thread类和实现Runnable接口。在Web服务器源码中,通常会采用后者,因为这样可以避免单继承的限制,提高代码的可扩展性。 2. **Socket编程**:Web服务器...

    简单爬虫 Java实现 多线程

    通过以上步骤,我们可以构建一个基础的Java多线程爬虫。在实际应用中,可能还需要结合其他工具和技术,如Scrapy for Java、Nutch等高级爬虫框架,以及Apache Tika进行内容分析,或者使用Hadoop进行大数据处理。总之...

    另外一个java多线程下载程序源代码

    在Java编程语言中,多线程是实现并发执行...总的来说,这个开源项目为我们提供了一个学习Java多线程下载的实践案例,通过对源代码的分析和研究,我们可以深入理解Java多线程编程,以及如何在实际应用中解决并发问题。

    java+selenium(房天下 链家小区 多线程+代理实现)

    总结,本项目展示了如何结合Java、Selenium和多线程技术实现高效且安全的网络爬虫。通过代理IP避免了被目标网站识别,提高了爬虫的生存能力。同时,项目的可扩展性也意味着它可以适应更多类似的需求,比如抓取其他...

    Java多线程与线程安全实践-基于Http协议的断点续传

    下面是一个简单的Java多线程断点续传实现示例: ```java public class MultiThreadedDownload { private final int chunkSize; private final URL url; private final File outputFile; public ...

    Java实现文件的多线程下载

    在Java编程中,多线程是一项关键特性,它允许程序同时执行多个任务,极大地提高了效率。在本案例中,我们将探讨如何...在这个案例中,不仅学习了Java多线程编程,还涉及到网络I/O、文件操作以及并发控制等多个知识点。

    java 多线程下载

    Java多线程下载是编程中一个实用且复杂的技术点,主要应用于提高文件下载速度和优化资源利用。在大型网络应用中,多线程技术能够显著提升用户体验,尤其是在处理大文件或者多个并发请求时。本篇将围绕Java实现多线程...

Global site tag (gtag.js) - Google Analytics