- 浏览: 43992 次
文章分类
- 全部博客 (29)
- java (29)
- ava框架数据库连接池比较(c3p0 (1)
- dbcp和proxool)bonecp (1)
- 并发编程的Java抽象 (1)
- Comparing PHP Frameworks ( Symfony (1)
- CakePHP (1)
- YII and CodeIgniter) (1)
- 简单的Unit Test理解 (1)
- mysql concat函数 字符串连接 (1)
- PHP学习笔记(一) (1)
- Struts2 工作流程 (1)
- 关于Java性能监控您不知道的5件事 (1)
- paypal注册难吗? (1)
- Android采用SharedPreferences保存用户登录信息 (1)
- 开微博 (1)
- 《疯狂的程序员》 (1)
- FindBugs无法使用的问题 (1)
- 将SVG文件嵌入到网页中的问题 并说object和embed标记 (1)
- 突然想说说IP地址欺骗 (1)
- 把.NET程序部署到没有安装.NET Framwork的机器上 (1)
- 写个小程序QQMessage 熟悉一下界面控件的使用 (1)
- 看流程图,写代码。 (1)
- ASP.NET MVC 2生成动态表单的一种最简单的思路 (1)
- 一网络能连接后提示用户的小程序 (1)
- 重载运算符之前++和后++ (1)
- Spring JMS 整合Tomcat和ActiveMQ (1)
- android Launch Mode and Flags (1)
- PPT打包成EXE常用方法 (1)
- Android开发之初识Camera图像采集 (1)
- Android开发之自定义动画 (1)
- Multiple operations have reported errors Select an error to view its details (1)
- Hadoop启动时出现Unrecognized option: -jvm 和 Could not create the Java virtual machine (1)
- pjhjava soap的开发 (1)
最新评论
-
wolf_awp:
受不了啊,这种东西都能到首页去。
看流程图,写代码。 -
depravedangel:
原帖:http://blog.csdn.net/arui319 ...
写个小程序QQMessage 熟悉一下界面控件的使用 -
depravedangel:
05年的帖子,直接拷贝过来,LZ不厚道
写个小程序QQMessage 熟悉一下界面控件的使用 -
depravedangel:
判断QQ是否隐身是怎么做的的?
写个小程序QQMessage 熟悉一下界面控件的使用
Hadoop启动时出现Unrecognized option: -jvm 和 Could not create the Java virtual machine
http://javoft.net/2011/06/hadoop-unrecognized-option-jvm-could-not-create-the-java-virtual-machine/
?
根据官方文档配置单节点的时候,在运行sh start-all.sh时遇到出现问题:
<br>localhost: starting datanode, logging to /usr/local/hadoop/bin/../logs/hadoop-root-datanode-fedora.out<br>localhost: Unrecognized option: -jvm<br>localhost: Could not create the Java virtual machine.<br>
在网上搜到很多 Could not create the Java virtual machine.都是说内存分配不够或者其他的问题,跟Hadoop相关的不多。搜了很多最后找到了这个问题的原因,首先说一下我安装过程。
因为是本机,所以为了方便加上习惯性su开启root运行,故同样也用root来运行start-all.sh,于是上面问题出现了,到网上搜了,有人说改/hadoop/conf/hadoop-env.sh中的
<br># The maximum amount of heap to use, in MB. Default is 1000.<br># export HADOOP_HEAPSIZE=2000<br>
把 HADOOP_HEAPSIZE的值设为一个更小的,当然这样说的人肯定是以为jvm不能启动是因为内存大小没满足1000的要求,内存不足使得 Could not create the Java virtual machine,看起来貌似有道理,但是怎么解释-jvm的问题呢?动手改改看,改过以后,无果,至少说明我遇到的不是这问题。继续搜,最后发现是在hadoop/bin/hadoop中有如下一段shell:
</strong>
<div>
<div id="highlighter_659935" class="syntaxhighlighter shell ie">
<div class="toolbar"><span><a class="toolbar_item command_help help" href="#">?</a></span>
<table border="0" cellspacing="0" cellpadding="0"><tbody><tr>
<td class="gutter">
<div class="line number1 index0 alt2">1
<div class="line number2 index1 alt1">2
<div class="line number3 index2 alt2">3
<div class="line number4 index3 alt1">4
<div class="line number5 index4 alt2">5
<div class="line number6 index5 alt1">6
</td>
<td class="code">
<div class="container">
<div class="line number1 index0 alt2">
<code class="shell plain">CLASS=</code><code class="shell string">'org.apache.hadoop.hdfs.server.datanode.DataNode'</code>
<div class="line number2 index1 alt1">
<code class="shell keyword">if</code> <code class="shell plain">[[ $EUID -</code><code class="shell keyword">eq</code> <code class="shell plain">0 ]]; </code><code class="shell keyword">then</code>
<div class="line number3 index2 alt2">
<code class="shell plain">HADOOP_OPTS=</code><code class="shell string">"$HADOOP_OPTS -jvm server $HADOOP_DATANODE_OPTS"</code>
<div class="line number4 index3 alt1"><code class="shell keyword">else</code>
<div class="line number5 index4 alt2">
<code class="shell plain">HADOOP_OPTS=</code><code class="shell string">"$HADOOP_OPTS -server $HADOOP_DATANODE_OPTS"</code>
<div class="line number6 index5 alt1"><code class="shell keyword">fi</code>
</td>
</tr></tbody></table>
?
其中的<br><strong><br>如果 $EUID 为 0,什么意思呢?<br>有效用户标识号(EUID):该标识号负责标识以什么用户身份来给新创建的进程赋所有权、检查文件的存取权限和检查通过系统调用kill向进程发送软 中断信号的许可权限。<br>在root用户下echo $EUID,echo结果为 0<br>ok,在root下会有-jvm选项添加上去,上面说的Unrecognized option: -jvm难道就是这里产生的。
<div>
<div id="highlighter_690401" class="syntaxhighlighter shell ie">
<div class="toolbar"><span><a class="toolbar_item command_help help" href="#">?</a></span>
<table border="0" cellspacing="0" cellpadding="0"><tbody><tr>
<td class="gutter">
<div class="line number1 index0 alt2">1
<div class="line number2 index1 alt1">2
</td>
<td class="code">
<div class="container">
<div class="line number1 index0 alt2">
<code class="shell keyword">if</code> <code class="shell plain">[[ $EUID -</code><code class="shell keyword">eq</code> <code class="shell plain">0 ]]; </code><code class="shell keyword">then</code>
<div class="line number2 index1 alt1">
<code class="shell plain">HADOOP_OPTS=</code><code class="shell string">"$HADOOP_OPTS -jvm server $HADOOP_DATANODE_OPTS"</code>
</td>
</tr></tbody></table>
?
两个想法。一个想法是自己改了这shell代码,去掉里面的-jvm。另外一个想法是 既然这里要求 $EUID -eq 0,那别用$EUID不为0的(root用户)用户运行即可。果断试试,换上普通用户根据文档提示做。ok,成功。好奇的再试试第一个想法,其实暂时还是不太想动源码。但是这shell动动也没妨,果断去掉上面的-jvm,直接把上面的if else 结构直接去掉改为
<div>
<div id="highlighter_50567" class="syntaxhighlighter shell ie">
<div class="toolbar"><span><a class="toolbar_item command_help help" href="#">?</a></span>
<table border="0" cellspacing="0" cellpadding="0"><tbody><tr>
<td class="gutter">
<div class="line number1 index0 alt2">1
</td>
<td class="code">
<div class="container">
<div class="line number1 index0 alt2">
<code class="shell plain">HADOOP_OPTS=</code><code class="shell string">"$HADOOP_OPTS -server $HADOOP_DATANODE_OPTS"</code><code class="shell plain">,</code>
</td>
</tr></tbody></table>
同样运行成功。
如上几个尝试最终证明问题就出现在与-jvm这个参数选项,这是由于Hadoop版本或者java版本差异产生的问题吗?继续研究中…
发表评论
-
pjhjava soap的开发
2012-02-07 16:50 937soap 的开发其实是wsdl到java的一个开发过程 ... -
Multiple operations have reported errors Select an error to view its details
2012-01-31 16:53 1760<div id="blog_content&q ... -
Android开发之自定义动画
2012-01-11 16:54 2544<h1>Android开发之自定义动画&l ... -
Android开发之初识Camera图像采集
2012-01-11 15:39 3973<h1>Android开发之初识Camer ... -
PPT打包成EXE常用方法
2011-12-28 13:18 958<span style="fon ... -
android Launch Mode and Flags
2011-12-28 11:44 759android:allowTaskReparen ... -
Spring JMS 整合Tomcat和ActiveMQ
2011-12-21 14:34 22881.Active MQ安装配置 1.1.下载并解压A ... -
重载运算符之前++和后++
2011-12-21 10:19 1178<span style="font-f ... -
一网络能连接后提示用户的小程序
2011-12-20 11:59 795国庆节放假期间整个小区断网4天,家里没办法上网,基本都 ... -
ASP.NET MVC 2生成动态表单的一种最简单的思路
2011-12-20 11:14 1026在BPM、OA等系统中,都会存在一个表单设计器。有些 ... -
看流程图,写代码。
2011-12-19 12:59 2302看流程图,写代码。<br><br&g ... -
写个小程序QQMessage 熟悉一下界面控件的使用
2011-12-15 16:14 1404首先,代表我个人祝所有看到此日志的朋友新年快乐!! ... -
把.NET程序部署到没有安装.NET Framwork的机器上
2011-12-15 13:04 896<div class="text1&q ... -
突然想说说IP地址欺骗
2011-12-15 12:04 716<font size="3" ... -
将SVG文件嵌入到网页中的问题 并说object和embed标记
2011-12-14 14:44 1429<p class="MsoNormal ... -
FindBugs无法使用的问题
2011-12-13 11:44 1698<p class="MsoNorma ... -
《疯狂的程序员》
2011-12-13 10:19 610《疯狂的程序员》 年前,去书店,发现了一本书,摆在推荐 ... -
开微博
2011-12-12 13:09 618这里毕竟是CSDN,一个国内领先的IT技术站点。我这里 ... -
Android采用SharedPreferences保存用户登录信息
2011-12-09 11:39 4128[size=small;]??? Androi ... -
paypal注册难吗?
2011-12-09 10:25 872可能是因为浏览器的问题,很多外贸用户在注册paypal ...
相关推荐
问题描述:在hadoop安装目录/bin/hadoop中有一段shell代码导致Hadoop启动datanode时出现Unrecognized option: -jvm和Could not create the Java virtual machine错误。 解决方法: 1. 修改hadoop安装目录/bin/...
赠送jar包:hadoop-mapreduce-client-common-2.6.5.jar; 赠送原API文档:hadoop-mapreduce-client-common-2.6.5-javadoc.jar; 赠送源代码:hadoop-mapreduce-client-common-2.6.5-sources.jar; 赠送Maven依赖信息...
赠送jar包:hadoop-mapreduce-client-jobclient-2.6.5.jar; 赠送原API文档:hadoop-mapreduce-client-jobclient-2.6.5-javadoc.jar; 赠送源代码:hadoop-mapreduce-client-jobclient-2.6.5-sources.jar; 赠送...
赠送jar包:hadoop-mapreduce-client-core-2.5.1.jar; 赠送原API文档:hadoop-mapreduce-client-core-2.5.1-javadoc.jar; 赠送源代码:hadoop-mapreduce-client-core-2.5.1-sources.jar; 赠送Maven依赖信息文件:...
赠送jar包:hadoop-yarn-client-2.6.5.jar; 赠送原API文档:hadoop-yarn-client-2.6.5-javadoc.jar; 赠送源代码:hadoop-yarn-client-2.6.5-sources.jar; 赠送Maven依赖信息文件:hadoop-yarn-client-2.6.5.pom;...
赠送jar包:hadoop-yarn-api-2.5.1.jar; 赠送原API文档:hadoop-yarn-api-2.5.1-javadoc.jar; 赠送源代码:hadoop-yarn-api-2.5.1-sources.jar; 赠送Maven依赖信息文件:hadoop-yarn-api-2.5.1.pom; 包含翻译后...
赠送jar包:hadoop-mapreduce-client-app-2.7.3.jar; 赠送原API文档:hadoop-mapreduce-client-app-2.7.3-javadoc.jar; 赠送源代码:hadoop-mapreduce-client-app-2.7.3-sources.jar; 赠送Maven依赖信息文件:...
赠送jar包:hadoop-yarn-server-resourcemanager-2.6.0.jar; 赠送原API文档:hadoop-yarn-server-resourcemanager-2.6.0-javadoc.jar; 赠送源代码:hadoop-yarn-server-resourcemanager-2.6.0-sources.jar; 赠送...
赠送jar包:hadoop-mapreduce-client-jobclient-2.6.5.jar; 赠送原API文档:hadoop-mapreduce-client-jobclient-2.6.5-javadoc.jar; 赠送源代码:hadoop-mapreduce-client-jobclient-2.6.5-sources.jar; 赠送...
赠送jar包:hadoop-mapreduce-client-app-2.6.5.jar; 赠送原API文档:hadoop-mapreduce-client-app-2.6.5-javadoc.jar; 赠送源代码:hadoop-mapreduce-client-app-2.6.5-sources.jar; 赠送Maven依赖信息文件:...
赠送jar包:flink-hadoop-compatibility_2.11-1.10.0.jar; 赠送原API文档:flink-hadoop-compatibility_2.11-1.10.0-javadoc.jar; 赠送源代码:flink-hadoop-compatibility_2.11-1.10.0-sources.jar; 赠送Maven...
赠送jar包:hadoop-mapreduce-client-core-2.7.3.jar; 赠送原API文档:hadoop-mapreduce-client-core-2.7.3-javadoc.jar; 赠送源代码:hadoop-mapreduce-client-core-2.7.3-sources.jar; 赠送Maven依赖信息文件:...
赠送jar包:hadoop-mapreduce-client-app-2.6.5.jar; 赠送原API文档:hadoop-mapreduce-client-app-2.6.5-javadoc.jar; 赠送源代码:hadoop-mapreduce-client-app-2.6.5-sources.jar; 赠送Maven依赖信息文件:...
赠送jar包:hadoop-yarn-server-common-2.6.5.jar; 赠送原API文档:hadoop-yarn-server-common-2.6.5-javadoc.jar; 赠送源代码:hadoop-yarn-server-common-2.6.5-sources.jar; 赠送Maven依赖信息文件:hadoop-...
`hadoop-common-2.6.0-bin-master.zip` 是一个针对Hadoop 2.6.0版本的压缩包,特别适用于在Windows环境下进行本地开发和测试。这个版本的Hadoop包含了对Windows系统的优化,比如提供了`winutils.exe`,这是在Windows...
赠送jar包:hadoop-yarn-api-2.7.3.jar; 赠送原API文档:hadoop-yarn-api-2.7.3-javadoc.jar; 赠送源代码:hadoop-yarn-api-2.7.3-sources.jar; 赠送Maven依赖信息文件:hadoop-yarn-api-2.7.3.pom; 包含翻译后...
赠送jar包:hadoop-hdfs-client-2.9.1.jar; 赠送原API文档:hadoop-hdfs-client-2.9.1-javadoc.jar; 赠送源代码:hadoop-hdfs-client-2.9.1-sources.jar; 赠送Maven依赖信息文件:hadoop-hdfs-client-2.9.1.pom;...
赠送jar包:hadoop-yarn-server-web-proxy-2.6.0.jar; 赠送原API文档:hadoop-yarn-server-web-proxy-2.6.0-javadoc.jar; 赠送源代码:hadoop-yarn-server-web-proxy-2.6.0-sources.jar; 赠送Maven依赖信息文件:...
赠送jar包:hadoop-yarn-client-2.6.5.jar; 赠送原API文档:hadoop-yarn-client-2.6.5-javadoc.jar; 赠送源代码:hadoop-yarn-client-2.6.5-sources.jar; 赠送Maven依赖信息文件:hadoop-yarn-client-2.6.5.pom;...
赠送jar包:hadoop-mapreduce-client-jobclient-2.5.1.jar; 赠送原API文档:hadoop-mapreduce-client-jobclient-2.5.1-javadoc.jar; 赠送源代码:hadoop-mapreduce-client-jobclient-2.5.1-sources.jar; 赠送...