1.前言.
如题。一般3G左右可以创建65000+以上线程,65000基本是内存允许的上限。
2.描述。
摘录了一篇比较好的文章。
最近想测试下Openfire下的最大并发数,需要开大量线程来模拟客户端。对于一个JVM实例到底能开多少个线程一直心存疑惑,所以打算实际测试下,简单google了把,找到影响线程数量的因素有下面几个:
-Xms
intial java heap size
-Xmx
maximum java heap size
-Xss
the stack size for each thread
系统限制
系统最大可开线程数
测试程序如下:
Java代码 收藏代码
import java.util.concurrent.atomic.AtomicInteger;
public class TestThread extends Thread {
private static final AtomicInteger count = new AtomicInteger();
public static void main(String[] args) {
while (true)
(new TestThread()).start();
}
@Override
public void run() {
System.out.println(count.incrementAndGet());
while (true)
try {
Thread.sleep(Integer.MAX_VALUE);
} catch (InterruptedException e) {
break;
}
}
}
测试环境:
系统:Ubuntu 10.04 Linux Kernel 2.6 (32位)
内存:2G
JDK:1.7
测试结果:
Ø 不考虑系统限制
-Xms
-Xmx
-Xss
结果
1024m
1024m
1024k
1737
1024m
1024m
64k
26077
512m
512m
64k
31842
256m
256m
64k
31842
在创建的线程数量达到31842个时,系统中无法创建任何线程。
由上面的测试结果可以看出增大堆内存(-Xms,-Xmx)会减少可创建的线程数量,增大线程栈内存(-Xss,32位系统中此参数值最小为60K)也会减少可创建的线程数量。
Ø 结合系统限制
线程数量31842的限制是是由系统可以生成的最大线程数量决定的:/proc/sys/kernel/threads-max,可其默认值是32080。修改其值为10000:echo 10000 > /proc/sys/kernel/threads-max,修改后的测试结果如下:
-Xms
-Xmx
-Xss
结果
256m
256m
64k
9761
这样的话,是不是意味着可以配置尽量多的线程?再做修改:echo 1000000 > /proc/sys/kernel/threads-max,修改后的测试结果如下:
-Xms
-Xmx
-Xss
结果
256m
256m
64k
32279
128m
128m
64k
32279
发现线程数量在达到32279以后,不再增长。查了一下,32位Linux系统可创建的最大pid数是32678,这个数值可以通过/proc/sys/kernel/pid_max来做修改(修改方法同threads-max),但是在32系统下这个值只能改小,无法更大。在threads-max一定的情况下,修改pid_max对应的测试结果如下:
pid_max
-Xms
-Xmx
-Xss
结果
1000
128m
128m
64k
582
10000
128m
128m
64k
9507
在Windows上的情况应该类似,不过相比Linux,Windows上可创建的线程数量可能更少。基于线程模型的服务器总要受限于这个线程数量的限制。
总结:
JVM中可以生成的最大数量由JVM的堆内存大小、Thread的Stack内存大小、系统最大可创建的线程数量(Java线程的实现是基于底层系统的线程机制来实现的,Windows下_beginthreadex,Linux下pthread_create)三个方面影响。具体数量可以根据Java进程可以访问的最大内存(32位系统上一般2G)、堆内存、Thread的Stack内存来估算。
序:
在64位Linux系统(CentOS 6, 3G内存)下测试,发现还有一个参数是会限制线程数量:max user process(可通过ulimit –a查看,默认值1024,通过ulimit –u可以修改此值),这个值在上面的32位Ubuntu测试环境下并无限制。
将threads-max,pid_max,max user process,这三个参数值都修改成100000,-Xms,-Xmx尽量小(128m,64m),-Xss尽量小(64位下最小104k,可取值128k)。事先预测在这样的测试环境下,线程数量就只会受限于测试环境的内存大小(3G),可是实际的测试结果是线程数量在达到32K(32768,创建的数量最多的时候大概是33000左右)左右时JVM是抛出警告:Attempt to allocate stack guard pages failed,然后出现OutOfMemoryError无法创建本地线程。查看内存后发现还有很多空闲,所以应该不是内存容量的原因。Google此警告无果,暂时不知什么原因,有待进一步研究。
序2:
今天无意中发现文章[7],马上试了下,果然这个因素会影响线程创建数量,按文中描述把/proc/sys/vm/max_map_count的数量翻倍,从65536变为131072,创建的线程总数量达到65000+,电脑基本要卡死(3G内存)… 简单查了下这个参数的作用,在[8]中的描述如下:
“This file contains the maximum number of memory map areas a process may have. Memory map areas are used as a side-effect of calling malloc, directly by mmap and mprotect, and also when loading shared libraries.
While most applications need less than a thousand maps, certain programs, particularly malloc debuggers, may consume lots of them, e.g., up to one or two maps per allocation.
The default value is 65536.”
OK,这个问题总算完满解决,最后总结下影响Java线程数量的因素:
Java虚拟机本身:-Xms,-Xmx,-Xss;
系统限制:
/proc/sys/kernel/pid_max,
/proc/sys/kernel/thread-max,
max_user_process(ulimit -u),
/proc/sys/vm/max_map_count。
摘自:http://jzhihui.iteye.com/blog/1271122
分享到:
相关推荐
本文将深入探讨`mod_jk`在Linux环境下的下载和配置,以及如何进行Tomcat集群的配置。 首先,让我们了解一下`mod_jk`。`mod_jk`是Apache HTTP服务器的一个模块,由Apache软件基金会开发,主要用于负载均衡和故障转移...
总的来说,Mycat作为一款强大的分布式数据库中间件,通过合理的配置和使用,可以在CentOS7这样的Linux系统中搭建出高效稳定的数据库集群,满足大规模数据处理的需求。同时,对于开发者来说,理解Mycat的工作原理和...
- **配置Web定制属性:** 例如设置最大线程数、连接超时等。 - **修改cookie name:** 为保持会话的一致性,可能需要修改cookie的名称。 - **数据源配置:** - **配置JDBC提供程序(DB2):** 配置数据库连接池,用于...
JDK中的JVM (Java Virtual Machine) 支持多线程,适应高并发场景,而Java的分布式处理框架如Hadoop、Spark等也依赖于JDK。此外,JDK还包含JMX (Java Management Extensions),用于监控和管理分布式系统中的Java应用...
- 在 Tomcat 的 `bin/catalina.sh` 或 `catalina.bat` 文件中,调整 JVM 的初始堆大小 (`-Xms`) 和最大堆大小 (`-Xmx`)。 - 可根据服务器硬件资源和应用需求进行适当调整。 **4.2 Tomcat 线程优化** - 在 `server....
Solr 是由 Apache 软件基金会维护的一个项目,它基于 Java 平台,可部署在各种 Linux 系统上。在这个最新版的 8.5.2 版本中,开发者可能引入了性能优化、新功能和错误修复,以提供更稳定、高效的搜索服务。 一、...
Linux系统默认的最大可打开文件数通常设定为1024个,这对于大多数应用场景来说可能足够,但在高并发环境下可能会出现“TooManyOpenFiles”的错误,导致HBase无法正常运行。为了避免此类问题,可以通过以下几种方式...
这里 `-Xss1m` 表示每个线程栈的初始大小为 1MB,这对于处理大量并发请求的应用来说是非常重要的参数之一。 #### 三、JDK 与 Resin 安装步骤 **1. JDK 安装** - 下载合适的 JDK 版本,例如 `j2sdk-1_4_2_10-linux...
当任务到达时,如果当前线程数小于最大线程数,则创建新线程执行任务。 - **keepAliveTime**:非核心线程闲置后的存活时间。当线程数超过核心线程数时,多余的线程将在空闲一段时间后被销毁。 - **workQueue**:任务...
为了应对大数据处理中可能遇到的高并发情况,需要调整Linux系统允许的最大打开文件数。默认的1024可能会导致"Too Many Open Files"错误,影响HBase的正常运行。可以通过`ulimit -n`命令临时更改限制,或永久性修改`/...
- **线程池配置**:在 `server.xml` 中配置合适的线程池参数,如最大线程数、最小空闲线程数等。 - **连接器优化**:调整连接器的超时时间、线程数等参数,以提高并发处理能力。 ### 高可用性与负载均衡 - 使用...
- **多线程技术**:深入理解Java中的线程概念、线程生命周期以及线程间通信机制,学习Thread类和Runnable接口的使用方法。 - **Socket网络技术**:掌握基于Java的Socket编程技术,包括客户端和服务端的设计与实现。 ...
- **Storm集群的安装的linux环境准备**:为安装Storm集群准备Linux环境。 - **zookeeper集群搭建**:构建Zookeeper集群作为Storm的服务发现和协调中心。 - **Storm集群搭建**:搭建完整的Storm集群环境。 - **Storm...
- **性能提升**:采用优化的JVM和线程调度策略,降低CPU占用,提升响应速度。 - **缓存技术**:支持缓存机制,减少数据库交互,提高处理效率。 - **压缩与GZIP**:自动启用HTTP压缩,减小网络传输数据量,加快...
Java作为一门广泛使用的编程语言,其面试题涵盖了多个核心领域,包括数据结构与算法、Java基础知识、多线程与并发、Linux使用与问题分析、框架、数据库相关、网络协议和网络编程、微服务以及JVM。以下是这些领域的...
【标题】:Tomcat7在Linux环境下的部署与管理 【描述】:在Linux操作系统上配置和运行Apache Tomcat7...同时,了解和学习更多的Linux和Tomcat高级特性,如集群配置、负载均衡等,将有助于提升系统的可靠性与可扩展性。
- **集群配置**:创建WebLogic集群,提高可用性和可扩展性。 - **负载均衡**:通过调度策略分配请求到不同的服务器,防止单一节点过载。 8. **持续集成与自动化** - **脚本化部署**:使用Ant、Maven或Gradle等...
Hadoop是Apache软件基金会开发的一个开源分布式计算框架,它允许在大规模集群上高效处理和存储大量数据。在Hadoop 2.4.1版本中,引入了对64位Linux平台的支持,使得在这些系统上运行Hadoop变得更加优化。本压缩包包...