`

HBASE遇到的java.lang.OutOfMemoryError: unable to create new native thread解决方法

阅读更多

简单分享一下,类似问题的解决方法

刚才在某机器上xxx用户下压测时遇到这个问题,连xxx都进不去了

说明xxx用户下无法创建跟多的线程了(当然root用户没这个问题)

 

系统能够创建的最大线程数:(MaxProcessMemory - JVMMemory – 系统内存) / (ThreadStackSize) = Number of threads

有两种方式:

          减少xxx下的ThreadStackSize

          增加xxx下的nproc数量

修改

[lsmpusr@wxlab28bin]$ ulimit -a

core filesize          (blocks, -c) 0

data segsize           (kbytes, -d)unlimited

schedulingpriority            (-e) 0

filesize              (blocks, -f) unlimited

pendingsignals                (-i) 256636

max lockedmemory       (kbytes, -l) 64

max memorysize         (kbytes, -m) unlimited

openfiles                     (-n) 65536

pipesize            (512bytes, -p) 8

POSIX messagequeues     (bytes, -q) 819200

real-timepriority             (-r) 0

stacksize             (kbytes, -s) 10240-----可以减小这个,建议在jvm –xss中减少

cputime              (seconds, -t) unlimited

max userprocesses             (-u) 1024-----可以增加这个到32000

virtualmemory          (kbytes, -v)unlimited

filelocks                     (-x) unlimited

修改/etc/security/limits.conf

*    soft    nofile    65536
*    hard    nofile    65536
xxx soft nproc  32000
xxx hard nproc  32000
xxx soft stack  1024
xxx hard stack  1024

 

其中 xxx表示启动hbase的用户,如使用hadoop启动hbase,则配置如下:

hadoop           hard    nproc           32000

hadoop           soft    nproc           32000

hadoop           hard    stack           1024

hadoop           soft    stack           1024

分享到:
评论

相关推荐

    hbase-site.xml.doc

    * hbase.tmp.dir:${java.io.tmpdir}/hbase-${user.name},这个参数指定了 HBase 的临时目录,用于存储临时文件。 二、HBase 根目录配置 * hbase.rootdir:${hbase.tmp.dir}/hbase,hdfs://namenode.example.org:...

    出现Exception in threadmain java.lang.NoClassDefFoundError的各种可能情况.doc

    在Java编程中,遇到“Exception in thread 'main' java.lang.NoClassDefFoundError”是一种常见的异常情况,这通常意味着JVM在运行时未能找到指定的类定义。此错误不同于ClassNotFoundException,后者发生在尝试加载...

    pinpoint的hbase初始化脚本hbase-create.hbase

    搭建pinpoint需要的hbase初始化脚本hbase-create.hbase

    hbase常用JAVA API

    可以通过HBase Shell命令来查看是否成功执行了Java API的操作,例如,`hbase hbasetest.jar hbase.java.txt` 可能是一个运行包含上述操作的Java程序,并输出结果到`hbase.java.txt`的命令。 以上就是HBase常用Java...

    hbase-2.0.0.3.0.0.0-1634-bin.tar.gz

    《HBase 2.0.0.3.0.0.0-1634 在 Ambari 2.7.x 下的编译与使用详解》 HBase,全称Apache HBase,是一款构建在Hadoop文件系统之上的分布式、版本化、列族式存储系统,主要用于处理大规模数据。它提供了高度可靠性和高...

    hbase 权限配置.docx

    * `hbase.security.authentication`:指定身份验证机制,可以是 simple 或者 kerberos。 * `hbase.security.authorization`:指定是否开启权限控制。 * `hbase.coprocessor.master.classes`:指定授权控制器的类名。...

    hbase-0.90.5.tar.gz与hadoop0.20.2版本匹配

    HBase是Apache软件基金会开发的一个开源分布式数据库,它是基于Google的Bigtable模型设计的,用于存储大规模结构化数据。HBase构建在Hadoop之上,两者都是Apache Hadoop生态系统的重要组成部分。Hadoop是一个分布式...

    hbase.tar.gz 已经配置完成拿来即用

    这个“hbase.tar.gz”压缩包可能是预配置好的HBase环境,用户下载后可以直接解压使用,无需繁琐的配置步骤。下面将详细介绍HBase的核心概念、工作原理以及如何部署和使用。 一、HBase核心概念 1. 表(Table):...

    hbase-1.0.1.1-bin.tar.gz.zip

    - 启动HBase:通过`start-hbase.sh`脚本启动HBase集群。 - 运行示例:可以使用HBase的命令行接口(HBase Shell)进行数据操作。 4. **HBase使用** - 创建表:使用`create`命令创建表,指定列族。 - 插入数据:...

    Hbase-0.94.26.tar.gz

    接着,可以使用`bin/start-hbase.sh`命令启动HBase服务,`bin/hbase shell`进入命令行界面进行数据操作。如果需要与其他系统(如Hive)集成,还需要进行相应的配置。 总的来说,HBase-0.94.26作为一款旧版的HBase,...

    hbase-2.0.2.3.1.4.0-315-bin.tar.gz

    ambari-2.7.5 编译过程中四个大包下载很慢,所以需要提前下载,包含:hbase-2.0.2.3.1.4.0-315-bin.tar.gz ,hadoop-3.1.1.3.1.4.0-315.tar.gz , grafana-6.4.2.linux-amd64.tar.gz ,phoenix-5.0.0.3.1.4.0-315....

    hbase-0.94.0.tar.gz

    1. **bin** 目录:包含HBase的可执行脚本,如`start-hbase.sh`用于启动HBase,`stop-hbase.sh`用于停止服务,以及`hbase`命令行工具。 2. **conf** 目录:这是存放HBase配置文件的地方。你需要在这里配置`hbase-...

    hbase资料_hbase-default.xml.zip

    7. **刷写与合并策略**:`hbase.hregion.flushsize`设定Region刷写到HDFS的阈值,`hbase.hregion.majorcompaction.interval`和`hbase.hregion.minorcompaction.interval`分别是大、小合并的间隔时间,影响数据的紧凑...

    hbase-0.94.27.tar.gz

    13. **API**:HBase提供了Java API,同时支持REST、Thrift和Avro接口,方便各种语言的应用程序与其交互。 14. **优化和调优**:HBase的性能受到多种因素影响,如Region大小、MemStore设置、Compaction策略等,需要...

    hbase完全分布式.docx

    hbase.cluster.distributed属性用于设置HBase的运行模式,false为单机模式,true为分布式模式。 RegionServer设置 RegionServer是HBase的Region Server进程,需要在所有slave节点上启动。 1. 启动RegionServer ...

    Hadoop 启动WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using

    搭建hadoop 环境时遇到启动异常告警问题 “WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable” 上来不多说,百度收集些相关...

    Sqoop通过Phoenix导hbase数据到hive

    出现此问题时使用:java.lang.NullPointerException at org.json.JSONObject.(JSONObject.java:144) at org.apache.sqoop.util.SqoopJsonUtil.getJsonStringforMap(SqoopJsonUtil.java:43) at org.apache.sqoop....

    hbase-0.98.12.1-hadoop2-bin.tar.gz

    《HBase 0.98.12.1 on Hadoop 2:深入解析与实践》 ...理解并掌握HBase的核心原理和使用方法,对于构建高效的大数据平台至关重要。通过深入学习和实践,我们可以更好地利用HBase处理海量数据,挖掘隐藏的价值。

    hbase-1.0.1.1-bin.tar.gz

    HBase是Apache Hadoop生态系统中的一个分布式、高性能、版本化、列族式数据库,它提供了对大规模数据集的实时访问。HBase的设计理念是能够处理海量数据,同时保持低延迟的读写操作。在这个“hbase-1.0.1.1-bin.tar....

    hbase-0.98.9-src.tar

    To get started using HBase, the full documentation for this release can be found under the doc/ directory that accompanies this README. Using a browser, open the docs/index.html to view the project ...

Global site tag (gtag.js) - Google Analytics