安装Hadoop启动datanode出现Unrecognized option: -jvm
解决方法如下:
编辑 /bin/hadoop 文件
找到如下这段代码:
elif [ "$COMMAND" = "datanode" ] ; then
CLASS='org.apache.hadoop.hdfs.server.datanode.DataNode'
if [[ $EUID -eq 0 ]]; then
HADOOP_OPTS="$HADOOP_OPTS -jvm server $HADOOP_DATANODE_OPTS"
else
HADOOP_OPTS="$HADOOP_OPTS -server $HADOOP_DATANODE_OPTS"
fi
更改为:
elif [ "$COMMAND" = "datanode" ] ; then
CLASS='org.apache.hadoop.hdfs.server.datanode.DataNode'
# if [[ $EUID -eq 0 ]]; then
# HADOOP_OPTS="$HADOOP_OPTS -jvm server $HADOOP_DATANODE_OPTS"
# else
HADOOP_OPTS="$HADOOP_OPTS -server $HADOOP_DATANODE_OPTS"
# fi
这个还是比较容易看懂的,把带有-jvm参数的命令注释掉
如果想了解更多可以参考原文,这个作者写得还是很详细的
原文地址:http://javoft.net/2011/06/hadoop-unrecognized-option-jvm-could-not-create-the-java-virtual-machine/
分享到:
相关推荐
问题描述:在hadoop安装目录/bin/hadoop中有一段shell代码导致Hadoop启动datanode时出现Unrecognized option: -jvm和Could not create the Java virtual machine错误。 解决方法: 1. 修改hadoop安装目录/bin/...
### Hadoop Datanode启动失败:Hadoop安装目录权限问题详解 #### 一、问题背景与现象 在部署Hadoop集群的过程中,用户可能会遇到Datanode启动失败的情况。这一问题通常表现为,在尝试启动Hadoop集群时,Datanode...
`hadoop-common-2.6.0-bin-master.zip` 提供了一个解决方案,因为它包含了专门为Windows编译的`winutils.exe`。这个工具主要用于设置HDFS的HDFS权限、启动Hadoop守护进程等操作。你需要解压此文件到一个适当的目录,...
- 位于`/var/log/hadoop/hadoop-datanode-datanode.out` (具体路径可能因版本而异) - 包含了数据块读写等操作的信息 - **JobTracker日志**: - 位于`/var/log/hadoop/hadoop-jobtracker-namenode.out` (具体路径...
- 数据存储:通过HDFS,Hadoop Common提供了海量数据的可靠存储解决方案。 - 并行计算:通过MapReduce,数据可以在多台机器上并行处理,显著提高了处理速度。 - 分布式资源管理:YARN负责调度和管理计算资源,...
- **错误日志分析**:当遇到问题时,检查Hadoop的日志文件,如`logs/hadoop-root-namenode-localhost.out`和`logs/hadoop-root-datanode-localhost.out`,它们会提供错误信息帮助解决问题。 - **防火墙配置**:...
标题中的"apache-hadoop-3.1.0-winutils-master.zip"是一个针对Windows用户的Hadoop工具包,它包含了运行Hadoop所需的特定于Windows的工具和配置。`winutils.exe`是这个工具包的关键组件,它是Hadoop在Windows上的一...
在Windows上安装Hadoop,首先需要下载`hadoop-common-2.7.3-bin-master-windows`压缩包,解压后设置环境变量`HADOOP_HOME`,指向解压后的目录。例如,如果解压路径为`C:\hadoop\common\2.7.3`,则在系统环境变量中...
这个压缩包“hadoop-common-2.2.0-bin-master”是Hadoop 2.2.0版本的公共库二进制版本,包含了在Windows平台上开发和运行Hadoop所需的一些关键工具,特别是对于开发者来说非常重要的`winutils.exe`。 `winutils.exe...
本篇将围绕"Hadoop-common-2.7.1-bin-master-master.zip"这一压缩包,详细阐述其内容、作用以及在实际操作中的应用场景。 Hadoop Common 2.7.1是Hadoop生态系统中的核心组件之一,主要提供了Hadoop系统运行所需的...
Hadoop 2.7.3是Hadoop的一个版本,其中包含了`hadoop-common-2.7.3-bin`这个模块,这个模块是Hadoop的基本组件集合,提供了在不同操作系统上运行Hadoop所需的各种工具和库。 标题中提到的`hadoop.dll`和`winutils....
hadoop2.7.4安装包补丁包,解决yarn定时调度启动问题!!
本文将详细讲解Hadoop datanode重新加载失败无法启动解决的知识点,主要包括datanode加载失败的原因、解决方法和步骤。 知识点1: datanode加载失败的原因 datanode加载失败的原因有很多,可能是由于配置文件错误...
1. **下载并解压**:首先,你需要下载hadoop-3.3.1的Windows版本和winutils工具包,并将它们解压到合适的目录,例如`C:\Hadoop`。 2. **配置环境变量**:打开系统环境变量设置,添加新的系统变量`HADOOP_HOME`,...
hadoop本地运行程序需要winutil.exe和hadoop.dll,解决:Could not locate Hadoop executable: D:\sorftware\hadoop\hadoop-2.2.0\bin\winutils.exe问题
- 启动Hadoop服务,包括DataNode,NameNode,ResourceManager,NodeManager等。 14. **Hadoop测试**: - 使用`hadoop fs -ls`检查HDFS文件系统,`hadoop jar`运行MapReduce示例程序验证安装。 在安装和配置...
- 在 `core-site.xml` 中配置HDFS的默认FS为本地文件系统,例如 `<value>file:///tmp/hadoop-data</value>`。 4. **创建Hadoop临时目录**: - 使用Cygwin创建Hadoop所需的目录,如 `mkdir /tmp/hadoop-data` 并...
- **Hadoop-2.7.0**: 不支持HBase-1.4.x, HBase-1.6.x, HBase-1.7.x, HBase-2.3.x。 - **Hadoop-2.7.1+**: 支持HBase 1.4.x, 其他版本不支持。 - **Hadoop-2.8.[3-4]**: 未测试HBase-1.4.x, HBase-1.6.x, HBase-1.7....
- **Heartbeat机制**:DataNode定期向NameNode发送心跳信息,以报告其健康状态。 - **副本策略**:默认情况下,每个数据块有三个副本,分别存放在不同机架的节点上,以保证数据安全性。 2. **MapReduce**: - **...