`
- 浏览:
44051 次
- 性别:
- 来自:
成都
-
inux 中的Too many open file要如何解决 ?
Too many open files 问题出现有两种情况:
一种是在搜索的时候出现,多半是由于索引创建完毕之后被移动过,如果创建索引的时候不出现该错误,搜索的时候也一般是不会出现的。如果出现了,有两种处理办法,一种是修改合并因子和最小合并因子,并且使用
IndexWriter.Optimize() 优化索引,这样会将索引文件数量减少到文件系统限制之内;另外一种办法是修改操作系统的打开文件数量限制。方法如下:
1. 按照最大打开文件数量的需求设置系统, 并且通过检查/proc/sys/fs/file-max文件来确认最大打开文件数已经被正确设置。
# cat /proc/sys/fs/file-max
如果设置值太小, 修改文件/etc/sysctl.conf的变量到合适的值。 这样会在每次重启之后生效。 如果设置值够大,跳过下步。
# echo 2048 > /proc/sys/fs/file-max
编辑文件/etc/sysctl.conf,插入下行。
fs.file-max = 8192
2. 在/etc/security/limits.conf文件中设置最大打开文件数, 下面是一行提示:
#
添加如下这行。
* - nofile 8192
这行设置了每个用户的默认打开文件数为2048。 注意"nofile"项有两个可能的限制措施。就是项下的hard和soft。 要使修改过得最大打开文件数生效,必须对这两种限制进行设定。 如果使用"-"字符设定, 则hard和soft设定会同时被设定。
硬限制表明soft限制中所能设定的最大值。 soft限制指的是当前系统生效的设置值。 hard限制值可以被普通用户降低。但是不能增加。 soft限制不能设置的比hard限制更高。 只有root用户才能够增加hard限制值。
当增加文件限制描述,可以简单的把当前值双倍。 例子如下, 如果你要提高默认值1024, 最好提高到2048, 如果还要继续增加, 就需要设置成4096。
另外一种情况是在创建索引的时候,也有两种可能,一种是 合并因子太小,导致创建文件数量超过操作系统限制,这时可以修改合并因子,也可以修改操作系统的打开文件数限制;另外一种是合并因子受虚拟机内存的限制,无法调整到更大,而 需要索引的doc 数量又非常的大,这个时候就只能通过修改操作系统的打开文件数限制来解决了。
在此基础上,我还修改了以下一个配置文件
vi /etc/sysctl.conf
添加:
# Decrease the time default value for tcp_fin_timeout connection
net.ipv4.tcp_fin_timeout = 30
# Decrease the time default value for tcp_keepalive_time connection
net.ipv4.tcp_keepalive_time = 1800
# Turn off tcp_window_scaling
net.ipv4.tcp_window_scaling = 0
# Turn off the tcp_sack
net.ipv4.tcp_sack = 0
#Turn off tcp_timestamps
net.ipv4.tcp_timestamps = 0
然后 service network restart,这些都和TCP sockets有关的优化。
另外需要在 /etc/rc.d/rc.local里添加已使得重启的时候生效。
echo "30">/proc/sys/net/ipv4/tcp_fin_timeout
echo "1800">/proc/sys/net/ipv4/tcp_keepalive_time
echo "0">/proc/sys/net/ipv4/tcp_window_scaling
echo "0">/proc/sys/net/ipv4/tcp_sack
echo "0">/proc/sys/net/ipv4/tcp_timestamps
因为不是所有的程序都在root下跑的,所有linux有对hard 与soft open files 的区分,普通用户受hard的限制,无论ulimit -n $数值调到多高,都跑不到 /etc/security/limits.conf里nofile的值.
这样的优化后 lsof -p $java_pid|wc -l可以跑到4千以上都不会抛出too many open files。
但是我们通过以上的文章详细介绍知道,这样也是治标不治本,找到java哪个文件不关闭文件描述符或者被请求过多的原因才是最重要的!
分享到:
Global site tag (gtag.js) - Google Analytics
相关推荐
在Qt+Open3D的组合中,Assimp负责处理3D模型的导入,为Open3D提供原始模型数据。 实现步骤如下: 1. **安装依赖库**:首先确保系统已经安装了Qt、Open3D和Assimp。在Ubuntu上,可以通过apt-get或apt命令来安装。 ...
Linux 操作系统中互斥与同步控制 Linux 操作系统中,进程是程序执行的动态过程,是系统分配软硬件资源的最小单位,是为正在运行的程序所提供的运行环境。它具有一段可执行的程序、专用的系统堆栈空间、私有的进程...
linux ftp服务器的配置
包含qt完整的工程目录以及原始的一份控制台源码。代码有问题可以评论。 1、实验目的 通过一个简单多用户文件系统的设计,加深理解文件系统的内部...如file0,file1,file2...并以编号作为物理地址,在目录中进行登记。
北大青鸟inux的网络系统
inux自学教材inux自学教材
inux自学教材inux自学教材
inux-LVM管理.doc
实现了ls常用功能,代码结构还是比较清晰的
- 字符设备模型:深入研究字符设备驱动的框架,如`struct file_operations`结构体,以及`open`, `read`, `write`等操作函数。 - 示例驱动:通过具体的字符设备驱动实例,如串口、键盘、GPIO等,进行实战练习。 5....
INUX BRIDGE VLAN
Linux命令行,也被称为Shell,是Linux操作系统中最基础且强大的工具之一。它是用户与系统交互的主要界面,通过命令行输入指令来执行各种操作。在这个"Linux命令(Shell)从入门到精通"的学习过程中,我们将深入理解...
inux下RoseMirrorHA实施文档.doc
inux自学教材[1].
《Linux运维之道》这本书是为那些想要深入了解和掌握Linux运维技术的人量身打造的。它不仅适合初学者作为入门教程,也对有经验的运维人员提供了实用的操作指导和实践经验分享。书中涵盖了从基础操作到高级管理,从...
inux驱动开发第3版的配套例程 LINUX , 开发 inux驱动开发第3版的配套例程 LINUX , 开发
Linux设备驱动开发是嵌入式系统和服务器领域中的关键技术,对于理解操作系统如何与硬件交互具有重要意义。本学习笔记主要关注Linux环境下对设备驱动程序的构建和优化,这是一门涉及多方面知识的综合学科。 首先,...