`
dacoolbaby
  • 浏览: 1267189 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

运行MapReduce的时候OOM

HadoopOOM 
阅读更多

出错如下：

java.lang.OutOfMemoryError: Java heap space 
        at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.<init>(MapTask.java:498) 
        at org.apache.hadoop.mapred.MapTask.run(MapTask.java:305) 
        at org.apache.hadoop.mapred.Child.main(Child.java:158)

 

解决方法：

我是在Windows 下使用Eclipse 连接hadoop虚拟机。

 

run -> Run Configurations -> Arguments

 

在Vm arguments下面添加如下：

-Xms512m -Xmx1024m -XX:MaxPermSize=256m

 

然后就可以跑了。。

分享到：
| MapReduce函数的JavaScript模拟实现
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    第一个Mapreduce程序.pdf

    在成功上传文件之后，下一步是运行MapReduce作业。文中没有详细说明如何运行作业，但在Hadoop MapReduce中，一般通过Hadoop命令行工具来提交作业，命令通常类似于“hadoop jar wc3.jar”。 整个过程大致如下： 1. ...

    Hadoop实战入门

    管理界面与命令部分提供了查看HDFS运行状态、MapReduce运行状态以及通过命令行直接查看运行的进程等操作方法。 Hadoop的架构分析部分详细介绍了HDFS和MapReduce的组成和工作原理。HDFS由三个重要角色构成：NameNode...

    Hadoop2.6.0配置文件参考.zip

    - **mapreduce.framework.name**：指定运行MapReduce作业的框架，Hadoop 2.x中应设置为`yarn`。 - **mapreduce.map.memory.mb**和**mapreduce.reduce.memory.mb**：分别设置Map任务和Reduce任务的内存大小，影响...

    Yarn常见问题维护手册V1.01

    - `[YARN-20002]` MR 任务运行失败，报 OOM 异常：这表明任务在运行过程中耗尽了内存。除了调整内存配置，还可以优化代码，减少内存消耗，或者考虑使用更高效的算法。 - `[YARN-20003]` 集群资源足够时，大量任务...

    五分钟学大数据-Spark 面试八股文1

    Spark 的运行流程： Spark 的执行流程主要分为四个步骤：提交、调度、执行和结果返回。首先，用户通过 SparkContext 提交作业到集群管理器，如 YARN 或 Mesos。然后，调度器将作业拆分成任务（Task），根据资源分配...

    大公司大数据量hive调优实践

    - **mapreduce.map.memory.mb**：设置合理的Map任务内存，避免OOM错误。 - **hive.exec.dynamic.partition.mode**：开启动态分区模式，提高灵活性。 - **hive.merge.tezfiles**：合并小文件，减少HDFS上的文件...

    jvm -spark-优化

    相比于传统的Hadoop MapReduce，Spark提供了更高级别的抽象接口，并且支持内存计算，这使得Spark在处理大规模数据时比MapReduce更快、更灵活。Spark的核心组件包括Spark Core、Spark SQL、Spark Streaming等。 ####...

    如何构建高可用性高扩展性的系统方案.doc

    - **资源管理**：限制内存使用，防止OOM，及时释放不再使用的资源，如文件、网络连接和线程池。 1.2 **及时发现故障** - **监控报警系统**：建立实时监控，当系统出现异常时能迅速发出警报。 - **日志系统和分析...

    尚硅谷Hive企业级调优的资料

    1. **内存参数调整**：如`mapreduce.map.memory.mb`和`mapreduce.reduce.memory.mb`，根据任务需求合理分配内存，防止OOM。 2. **并行度设置**：通过`mapred.map.tasks`和`mapred.reduce.tasks`调整任务并行度，...

    hadoop环境搭建

    2. **内存配置**：根据硬件资源调整Hadoop相关进程的内存分配，避免OOM错误。 3. **网络设置**：确保所有节点之间的网络通信畅通，配置正确的主机名和IP地址。 4. **单机模式与伪分布式模式**：初学者可以先在单机...

    开发者最佳实践日－Spark-Ecosystem

    - **速度**: Spark 的速度比传统 Hadoop MapReduce 快得多，尤其是在内存中进行计算时。 - **易用性**: 提供了丰富的 API，支持多种编程语言（如 Java、Scala 和 Python）。 - **通用性**: 可以用于批处理、流处理、...

Magicbox
Global site tag (gtag.js) - Google Analytics