在Centos 6.4 X64, JDK 1.7 U21下用hadoop 1.2.1 运行 mahout 0.9,处理一个5GB的数据,系统提示There is insufficient memory for the Java Runtime Environment to continue.
14/07/15 08:46:05 INFO mapred.JobClient: Task Id : attempt_201407141818_0002_m_000018_0, Status : FAILED
java.lang.Throwable: Child Error
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:271)
Caused by: java.io.IOException: Task process exit with nonzero status of 1.
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:258)
attempt_201407141818_0002_m_000018_0: #
attempt_201407141818_0002_m_000018_0: # There is insufficient memory for the Java Runtime Environment to continue.
attempt_201407141818_0002_m_000018_0: # Cannot create GC thread. Out of system resources.
attempt_201407141818_0002_m_000018_0: # An error report file with more information is saved as:
attempt_201407141818_0002_m_000018_0: # /home/hadoop/hd_space/mapred/local/taskTracker/hadoop/jobcache/job_201407141818_0002/attempt_201407141818_0002_m_000018_0/work/hs_err_pid25377.log
14/07/15 08:46:07 INFO mapred.JobClient: map 15% reduce 0%
14/07/15 08:46:09 INFO mapred.JobClient: map 16% reduce 0%
14/07/15 08:46:09 INFO mapred.JobClient: Task Id : attempt_201407141818_0002_m_000018_1, Status : FAILED
java.lang.Throwable: Child Error
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:271)
Caused by: java.io.IOException: Task process exit with nonzero status of 1.
at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:258)
attempt_201407141818_0002_m_000018_1: #
attempt_201407141818_0002_m_000018_1: # There is insufficient memory for the Java Runtime Environment to continue.
attempt_201407141818_0002_m_000018_1: # Cannot create GC thread. Out of system resources.
attempt_201407141818_0002_m_000018_1: # An error report file with more information is saved as:
查看系统限制
[root@NameNode ~]# ulimit -a
core file size (blocks, -c) unlimited
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 2066288
max locked memory (kbytes, -l) 64
max memory size (kbytes, -m) unlimited
open files (-n) 1024
pipe size (512 bytes, -p) 8
文件数太少了。查看系统的/etc/security/limit.conf,etc/sysctl.conf ,换JDK版本等等,均无果!
在Root下设置 ulimit -c unlimited后,仍然不行。
[hadoop@NameNode mahout-distribution-0.9]$ ulimit -a
max user processes (-u) 1024
virtual memory (kbytes, -v) unlimited
经过查证,再在/etc/security/下一看。centos6多出来一个limits.d目录,下面有个文件: 90-nproc.config
此文件内容:
# Default limit for number of user's processes to prevent
# accidental fork bombs.
# See rhbz #432903 for reasoning.
* soft nproc 1024
root soft nproc unlimited
这里限制了1024呀,果断注释。
问题解决。
【转】:http://blog.csdn.net/liema2000/article/details/37808209
相关推荐
在Linux环境下部署Tomcat发布项目是一项常见的任务,但过程中可能会遇到各种问题。本文将详细介绍这些问题及其解决方案,旨在帮助读者理解和解决这些难题。 首先,问题1是启动Tomcat时遇到权限问题,即`.sh`文件...
https ssl Tomcat中实现https安全连接与SSL配置https ssl Tomcat中实现https安全连接与SSL配置https ssl Tomcat中实现https安全连接与SSL配置https ssl Tomcat中实现https安全连接与SSL配置
可以使用`wget`下载Tomcat的tar.gz文件,解压后将其移动到 `/opt` 或 `/usr/local` 目录下,然后设置`CATALINA_HOME`环境变量。启动和停止Tomcat通常通过执行`bin/startup.sh`和`bin/shutdown.sh`脚本完成。 最后是...
1. **安装Tomcat**:在Linux环境下,通常通过wget下载Tomcat的tar.gz文件,然后使用tar命令解压,最后设置环境变量并启动Tomcat服务。 2. **配置Tomcat**:主要涉及修改`conf/server.xml`文件,配置端口号、应用上...
### Linux下Shell脚本监控Tomcat状态并实现自动启动详解 #### 一、背景与目的 随着企业级应用越来越依赖于稳定的服务环境,确保服务的高可用性成为了系统管理员的重要职责之一。对于部署在Linux环境下的Java应用...
本工具专为Linux系统设计,能够帮助管理员快速、高效地安装和配置多种服务,包括MySQL数据库服务、Redis缓存服务、Nginx反向代理服务器、Tomcat应用服务器以及WeaveScope监控工具。以下将详细讲解这些服务及其在自动...
在描述中提到,“可以设置Tomcat开机自启动”,这意味着Tomcat 6.0.48包含了能够配置为系统服务的能力,使得服务器在操作系统启动时自动运行Tomcat,无需用户手动启动。这样做的好处在于确保Web应用始终可用,且减少...
启动脚本的主要任务是调用Tomcat的bin目录下的`catalina.sh`(Linux/Unix)或`startup.bat`(Windows)命令来启动服务器。 在Linux系统中,一个简单的启动脚本可能如下所示: ```bash #!/bin/bash export ...
总的来说,Linux环境下的Solr是一个强大的搜索引擎工具,通过合理的配置和使用,可以极大地提升数据的搜索和分析效率。无论是同步数据库、处理中文分词,还是构建分布式集群,Solr都能提供灵活且高效的解决方案。
- **便捷性**:相比于安装版,免安装版Tomcat不需要通过安装程序进行系统注册,避免了系统环境变量的设置,减少了出错的可能性。 - **灵活性**:用户可以根据需求自由选择安装路径,便于在多个版本间切换或同时...
- **设置Tomcat和Apache的开机自启动** - **打开防火墙的80端口** #### 脚本结构解析 ##### 环境准备 脚本首先确保执行前所需的环境条件得到满足: - **软件开发环境检查**:通过`rpm -q`命令检查一系列开发工具...
Linux的目录结构遵循一定的规范,例如根目录“/”下包含了重要的子目录,如“/bin”存放基本命令,“/etc”存储系统配置文件,“/home”为用户主目录,“/usr”包含应用程序,“/var”用于可变数据,如日志文件。...
本一键安装包专门针对Linux系统设计,旨在简化Web环境的配置过程,它集成了Tomcat7、JDK7、MySQL和Nginx以及Apache等关键组件。下面将详细介绍这些组件及其在Web服务中的作用,以及如何利用这个一键安装包进行部署。...
打开Tomcat的配置文件`server.xml`,通常位于`$CATALINA_HOME/conf/`目录下。找到`<Connector>`标签,例如: ```xml connectionTimeout="20000" redirectPort="8443" /> ``` 将`port`属性值更改为其他未被...
本安装包包含了一些关键工具,用于在Linux环境下构建一个完整的持续集成环境,具体包括JDK(Java Development Kit)、JMeter、Ant、Tomcat以及Jenkins。下面将详细介绍这些工具及其在持续集成中的作用。 1. JDK...
### CentOS安装软件时遇到“/lib/...如果经常需要在64位系统上安装32位程序,还可以考虑设置一个专门用于测试的虚拟机环境,这样可以在不影响主系统稳定性的前提下进行操作。希望本文能对遇到相同问题的朋友有所帮助。
2. **Tomcat安装路径改变**:如果Tomcat被删除后重新安装,新安装的Tomcat可能放在了不同的目录下,Eclipse中原有的配置无法匹配到新的安装路径。 3. **Eclipse配置信息丢失**:Eclipse的工作空间中关于Tomcat的...
在实际使用`tomcat-deploy-script-master`时,开发者需要根据自己的环境进行适当的配置,如Tomcat的安装路径、Maven的设置以及项目的具体信息。通过自定义这些参数,脚本可以适应不同的项目需求和开发流程。 总之,...
**Java开发环境的安装配置手册** Java开发环境的搭建是每个Java程序员的必经之路,本文将...理解并掌握这些配置步骤,将有助于提升开发效率,降低出错率。在遇到问题时,查阅官方文档或社区资源通常能找到解决方案。