按照hadoop 2.5.2文档学习,在执行命令
bin/hdfs namenode -format
时,老是报错:
java.lang.NoClassDefFoundError: namecode
到网上搜了很多解决方法,有说修改
etc/hadoop/hadoop-env.sh增加
export HADOOP_COMMON_HOME=/root/test/hadoop-2.5.2
export HADOOP_PREFIX=/root/test/hadoop-2.5.2
等,试了,仍然报上面的错误。
后来突然想到JAVA环境变量,输入命令
echo $CLASSPATH
发现输出居然是:
.:/usr/local/java/jdk/jdk1.6.0_23/lib.tools.jar
注意看lib.tools.jar,明显错误,还有。少了dt.jar,肯定会报找不到类错误。
修改/etc/profile文件,如下:
JAVA_HOME=/usr/local/java/jdk/jdk1.6.0_23
CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH
建议大家在已经安装好的JDK的linux系统上学习Hadoop时,先检查下JDK环境变量是否正确。因为项目中有些人粗心大意,做事情不彻底,配错了环境变量,然后导致别人在上面运行JAVA项目时出现莫名奇妙的错误,希望不要被坑了。
版权声明:本文为博主原创文章,未经博主允许不得转载。
分享到:
相关推荐
使用`hdfs namenode -format`命令首次启动时对NameNode进行格式化。 9. **启动Hadoop服务** 启动DataNode、NameNode、ResourceManager、NodeManager和HistoryServer等组件,命令可能包括`start-dfs.sh`、`start-...
运行MapReduce示例,例如`bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar grep input output 'dfs[a-z.]+'`,最后通过`bin/hdfs dfs -get output`将输出文件从分布式文件系统复制到...
在伪分布式集群中,执行`bin/hdfs namenode -format`来格式化文件系统,然后通过`start-dfs.sh`脚本启动HDFS服务,或者逐个启动namenode、datanode和secondarynamenode。 分布式集群的搭建涉及多台机器,你需要在...
- `hadoop-hdfs`:HDFS的实现,包括NameNode、DataNode、Client等组件的源码。 - `hadoop-mapreduce`:MapReduce框架的实现,包括JobTracker、TaskTracker的替代者ResourceManager和NodeManager。 - `hadoop-yarn...
### hadoop2.5.2在Windows下的Eclipse环境搭建详解 #### 一、Hadoop简介 Hadoop是由Apache基金会所开发的一个开源分布式计算框架,主要用于处理和存储大规模数据集。它通过分布式文件系统(HDFS)和MapReduce编程...
- 初始化HDFS文件系统,执行`hdfs namenode -format`。 10. **启动Hadoop服务**: - 启动DataNode、NameNode、ResourceManager、NodeManager和Secondary NameNode等服务,使用`start-dfs.sh`和`start-yarn.sh`...
3. 执行简单的Hadoop命令,如hadoop fs -ls,查看HDFS文件系统。 八、手册使用 提供的手册是搭建和管理Hadoop集群的重要参考资料。它包含了详细的配置选项、故障排查方法以及操作指南,遇到问题时应查阅手册寻求...
【Hadoop2.5.2+Sqoop-1.4.6】的组合主要用于在大数据环境中实现MySQL数据库数据的导入到Hadoop的分布式文件系统(HDFS)中。Hadoop是一个开源的分布式计算框架,而Sqoop是一款专门用于在关系型数据库与Hadoop之间...
此外,Hadoop 2.5.2还改进了HDFS的性能和稳定性。例如,HDFS的Block Size默认值被提高,以便更好地适应大规模的数据集;NameNode的高可用性得到了增强,通过引入Secondary NameNode和HA(High Availability)模式,...
- 运行 `bin/hdfs namenode -format` 命令进行格式化。 **5.2 启动 HDFS** - 执行 `sbin/start-dfs.sh` 命令启动 HDFS 服务。 #### 六、常见问题及解决方案 **6.1 错误信息处理** - **错误1:** `WARN util....
4. **Hadoop命令行工具**:这个压缩包可能包含了`bin`目录,其中包含了如`hadoop`, `hdfs`, `yarn`, `mapred`等命令行工具,用于与Hadoop集群交互,如上传、下载文件,启动和停止服务等。 5. **配置文件**:Hadoop...
这些文件"hadop-eclipse-plugin-2.5.2.jar"、"hadoop-eclipse-plugin-2.6.0.jar"和"hadoop-eclipse-plugin-2.6.5.jar"分别对应Hadoop的2.5.2、2.6.0和2.6.5版本的插件。 **Hadoop核心组件:** 1. **HDFS(Hadoop ...
客户端通过HDFS的RPC接口与NameNode或DataNode交互,执行文件操作。 深入理解HDFS的源码有助于开发者更好地定制和优化HDFS,以适应特定的业务场景。通过分析源码,我们可以了解到HDFS如何处理数据分布、故障恢复、...
然后,运行cmd窗口,执行hdfs namenode -format命令,以便格式化HDFS。最后,切换到Hadoop-2.5.2目录下的sbin目录,执行start-all.cmd命令,以便启动Hadoop服务。 总结 通过以上步骤,您已经成功地安装和配置了...
1. **格式化HDFS**:在NameNode上执行命令`hdfs namenode -format`。 2. **启动Hadoop服务**:在NameNode上执行命令`start-dfs.sh`来启动HDFS,在ResourceManager上执行`start-yarn.sh`启动YARN。 #### 六、验证...
根据提供的文件信息,本文档是一份关于如何在VirtualBox5虚拟环境中使用CentOS6.8操作系统安装Hadoop2.5.2完全分布式集群的傻瓜教程。这份教程不是独立的完全分布式安装教程,而是在先前已经安装了VirtualBox5和...
- **格式化HDFS**:首次启动Hadoop集群前需要格式化HDFS,命令为:`hadoop namenode -format`。 - **启动Hadoop服务**:使用命令`start-dfs.sh`和`start-yarn.sh`启动HDFS和YARN服务。 ##### 5. 运行Hadoop自带的...