用java做抓取的时候免不了要用到多线程的了,因为要同时抓取多个网站或一条线程抓取一个网站的话实在太慢,而且有时一条线程抓取同一个网站的话也比较浪费CPU资源。要用到多线程的等方面,也就免不了对线程的控制或用到线程池。 我在做我们现在的那一个抓取框架的时候,就曾经用过java.util.concurrent.ExecutorService作为线程池,关于ExecutorService的使用代码大概如下:
java.util.concurrent.Executors类的API提供大量创建连接池的静态方法:1.固定大小的线程池:
1 package BackStage;
2
3 import java.util.concurrent.Executors;
4 import java.util.concurrent.ExecutorService;
5
6 public class JavaThreadPool {
7 public static void main(String[] args) {
8 // 创建一个可重用固定线程数的线程池
9 ExecutorService pool = Executors.newFixedThreadPool(2);
10 // 创建实现了Runnable接口对象,Thread对象当然也实现了Runnable接口
11 Thread t1 = new MyThread();
12 Thread t2 = new MyThread();
13 Thread t3 = new MyThread();
14 Thread t4 = new MyThread();
15 Thread t5 = new MyThread();
16 // 将线程放入池中进行执行
17 pool.execute(t1);
18 pool.execute(t2);
19 pool.execute(t3);
20 pool.execute(t4);
21 pool.execute(t5);
22 // 关闭线程池
23 pool.shutdown();
24 }
25 }
26
27 class MyThread extends Thread {
28 @Override
29 public void run() {
30 System.out.println(Thread.currentThread().getName() + "正在执行。。。");
31 }
32 }
后来发现ExecutorService的功能没有想像中的那么好,而且最多只是提供一个线程的容器而然,所以后来我用改用了java.lang.ThreadGroup,ThreadGroup有很多优势,最重要的一点就是它可以对线程进行遍历,知道那些线程已经运行完毕,还有那些线程在运行。关于ThreadGroup的使用代码如下:
1 class MyThread extends Thread {
2 boolean stopped;
3
4 MyThread(ThreadGroup tg, String name) {
5 super(tg, name);
6 stopped = false;
7 }
8
9 public void run() {
10 System.out.println(Thread.currentThread().getName() + " starting.");
11 try {
12 for (int i = 1; i < 1000; i++) {
13 System.out.print(".");
14 Thread.sleep(250);
15 synchronized (this) {
16 if (stopped)
17 break;
18 }
19 }
20 } catch (Exception exc) {
21 System.out.println(Thread.currentThread().getName() + " interrupted.");
22 }
23 System.out.println(Thread.currentThread().getName() + " exiting.");
24 }
25
26 synchronized void myStop() {
27 stopped = true;
28 }
29 }
30
31 public class Main {
32 public static void main(String args[]) throws Exception {
33 ThreadGroup tg = new ThreadGroup("My Group");
34
35 MyThread thrd = new MyThread(tg, "MyThread #1");
36 MyThread thrd2 = new MyThread(tg, "MyThread #2");
37 MyThread thrd3 = new MyThread(tg, "MyThread #3");
38
39 thrd.start();
40 thrd2.start();
41 thrd3.start();
42
43 Thread.sleep(1000);
44
45 System.out.println(tg.activeCount() + " threads in thread group.");
46
47 Thread thrds[] = new Thread[tg.activeCount()];
48 tg.enumerate(thrds);
49 for (Thread t : thrds)
50 System.out.println(t.getName());
51
52 thrd.myStop();
53
54 Thread.sleep(1000);
55
56 System.out.println(tg.activeCount() + " threads in tg.");
57 tg.interrupt();
58 }
59 }
由以上的代码可以看出:ThreadGroup比ExecutorService多以下几个优势
1.ThreadGroup可以遍历线程,知道那些线程已经运行完毕,那些还在运行
2.可以通过ThreadGroup.activeCount知道有多少线程从而可以控制插入的线程数
转自: http://www.cnblogs.com/jimmy0756/archive/2011/04/18/2019439.html
分享到:
相关推荐
总之,Java线程群组是管理和控制多线程的重要工具,它可以帮助我们更好地组织代码,提高并发程序的可读性、可维护性和安全性。实例63将具体展示如何在实践中运用这些概念。通过深入理解并运用线程群组,我们可以编写...
- `threadFactory(ThreadGroup group, ThreadFactory threadFactory)`:创建一个定制的线程工厂,可以自定义线程组和线程工厂。 4. **Callable任务的转换** - `callable(Runnable task)`:将Runnable转换为...
除了基本的线程操作外,Java还提供了许多高级的API来帮助开发者更好地管理和控制线程。 **线程中断:** - **中断状态**:线程可以通过`interrupt()`方法设置中断标志。 - **检测中断**:通过`isInterrupted()`方法...
ThreadGroup 类,可以把线程归属到某一个线程组中,线程组中可以有线程对象,也可以有线程组,组中还可以有线程,这样的组织结构有点类似于树的形式。但是,不推荐使用,因为使用有很多的安全隐患。 7. Executor ...
### Java多线程编程总结 #### 一、Java线程:概念与原理 - **操作系统中线程和进程的概念** ...通过学习上述各个方面,我们可以更好地理解和利用Java的并发机制,从而开发出更高效、更稳定的多线程应用程序。
操作系统是计算机系统的核心组成部分,它负责管理和控制硬件资源,为应用程序...通过编写和调试代码,可以更好地掌握操作系统的复杂性和设计原则,这对于任何想要深入计算机系统底层的程序员来说都是宝贵的实践机会。
为了更好地理解Vert.x的线程模型,我们首先需要了解几个核心概念: - **Vertx对象**:它是控制整个Vert.x应用的核心。通过Vertx对象,开发者可以执行一系列操作,比如创建TCP/HTTP客户端与服务器、操作Event Bus、...
这个简单的线程池实现展示了线程池的基本概念,但实际生产环境中,Java 提供了更为强大的 `java.util.concurrent.ExecutorService` 和 `java.util.concurrent.ThreadPoolExecutor` 类,它们提供了更多的功能和更好的...
相比之下,使用线程池(如`ExecutorService`)更加安全和高效,可以更好地管理和控制线程资源。 7. **Executor框架**:Executor框架提供了一种更高级的线程管理方式,通过`ExecutorService`接口和`...
【第3章 高级查询(一)】在这个章节,学员将更深入地探索SQL查询技术,学习子查询、联接(JOIN)的多种类型(如内连接、外连接、自连接),以及聚合函数(如SUM, AVG, COUNT, MAX, MIN)和分组(GROUP BY)操作。...
- 学习Java的线程模型,如JVM如何调度线程,可以阅读JDK源码中`java.lang.Thread`和`java.lang.ThreadGroup`的相关实现。 - 分析`synchronized`和`volatile`的底层实现,了解内存模型(Java Memory Model)对并发...
### Java多线程自学笔记知识点总结 #### 一、Java多线程概念 - **多线程定义**:多线程是指程序中可以同时执行多个线程的能力。Java虚拟机支持多线程...希望这份笔记能够帮助读者更好地理解Java多线程的相关知识。
这个文档以中文呈现,旨在帮助那些英语阅读能力有限或更喜欢中文阅读的开发者更好地理解和使用 Java 语言。 Java API(应用程序接口)是 Java 平台的核心组成部分,提供了大量预先定义的类和方法,用于实现各种功能...
线程组(ThreadGroup)是用来管理一组线程的容器,它自身也是线程。线程组可以包含子线程组,形成一个树形结构。线程组提供了线程的统计、监控和保护等功能,例如,可以一次性停止组内所有线程。 在实际编程中,...
### Java并发编程面试题知识点详解 #### 1. 在 Java 中守护线程和本地线程的区别?...以上是《Java并发编程面试题合集》中涉及的一些核心知识点的详细解释,希望能帮助准备面试的朋友更好地理解这些概念。
根据提供的神州数码面试题目及其部分描述内容,我们可以总结出以下重要的IT知识点: ### J2EE基础知识 1. **J2EE概述与组成:** ...希望这些知识点能帮助大家更好地理解相关技术,并为面试做好充分准备。
本篇文章将深入探讨Java线程的源码,以帮助你更好地理解其工作原理。 首先,让我们来看看`Thread`类。`Thread`是Java并发编程的基础,位于`java.lang`包中。每个Java应用程序至少有一个线程,即主线程。当你创建一...
【Java面试总结】 ...同时,保持学习的动力,记录每天的学习进度,可以帮助你更好地坚持下去。在投递简历时,根据自己的经验和目标公司,选择合适的方式,积累面试经验,以便在面试中展现出最佳状态。
通过将两者结合使用,可以更好地管理定时任务,并充分利用 Spring 的特性。 #### 二、Spring与Quartz的整合概述 整合 Spring 和 Quartz 可以让开发者更加灵活地管理和控制定时任务。以下是整合的基本步骤: 1. **...
考虑到异步读取和订阅可能涉及多线程操作,了解Java的并发编程概念和工具(如Thread、Runnable、ExecutorService、synchronized关键字等)至关重要,以确保程序的稳定性和性能。 8. **OPC UA支持** 虽然原始的OPC...