Hadoop 0.20.2
以前配置好能运行的集群,今天不记得改了点什么,跑不起来了,总是报下面的异常:
java.io.IOException: File /tmp/hadoop-wangdeyu/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1
也看了下网上其他人的一些解决办法,试了式,机器重启了几次、format了好几次、/etc/hosts、/etc/hostname 改了几次(虚拟机里跑的Ubuntu,复制的,所以名字一样),不好使。
最后貌似进行了下面几步给解决了(还是有点莫名其妙,昨天还好用来着...):
1.
core-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.0.2:9000/</value>
</property>
fs.default.name 的value最好还是配置成IP地址
2.
mapred-site.xml
<property>
<name>mapred.job.tracker</name>
<value>192.168.0.2:9001</value>
</property>
mapred.job.tracker配置成了IP地址
3. 最后启动(不用start-all.sh),而是分两步:
bin/start-dfs.sh
bin/start-mapred.sh
分享到:
相关推荐
在Hadoop-2.7.3的版本中,HDFS已经经过了多次优化,增强了数据的可靠性和系统的整体性能。 MapReduce是Hadoop的另一个关键组件,它是一种编程模型,用于处理和生成大规模数据集。Map阶段将数据分解成较小的数据块,...
ambari-2.7.5 编译过程中四个大包下载很慢,所以需要提前下载,包含:hbase-2.0.2.3.1.4.0-315-bin.tar.gz ,hadoop-3.1.1.3.1.4.0-315.tar.gz , grafana-6.4.2.linux-amd64.tar.gz ,phoenix-5.0.0.3.1.4.0-315....
这个名为“hadoop-2.7.1.tar.gz.zip”的文件包含了Hadoop的2.7.1版本,这是一个非常重要的里程碑,因为它包含了对Hadoop生态系统的许多改进和修复。 首先,我们要明白文件的结构。这是一个压缩文件,最外层是.zip...
替换/path/to/hadoop-3.1.3为实际的Hadoop安装路径,然后执行`source ~/.bashrc`使改动生效。 四、配置Hadoop参数 在Hadoop的配置目录($HADOOP_HOME/etc/hadoop)下,有两个主要的配置文件:core-site.xml和hdfs-...
这个压缩文件"hadoop-3.1.4.tar.zip"包含了Hadoop的源代码、文档、配置文件以及相关的依赖库,使得用户可以方便地在本地环境中安装和运行Hadoop。 在解压文件"hadoop-3.1.4.tar.gz"后,我们可以得到Hadoop的完整...
Hadoop-3.3.1是Hadoop的最新稳定版本,提供了许多性能优化和新特性。这个“hadoop-3.3.1.tar.gz”文件是一个压缩包,包含了所有必要的组件和配置文件,用于在各种操作系统上安装和运行Hadoop。 1. **Hadoop架构** ...
这个压缩包 "sqoop-1.4.7.bin__hadoop-2.6.0.tar" 包含了 Sqoop 的 1.4.7 版本,该版本是针对 Hadoop 2.6.0 的。对于那些不想通过官方网站下载的用户,这是一个方便的选择。 在 Hadoop 生态系统中,Sqoop 提供了一...
hadoop2 lzo 文件 ,编译好的64位 hadoop-lzo-0.4.20.jar 文件 ,在mac 系统下编译的,用法:解压后把hadoop-lzo-0.4.20.jar 放到你的hadoop 安装路径下的lib 下,把里面lib/Mac_OS_X-x86_64-64 下的所有文件 拷到 ...
这个“hadoop-2.7.4.tar.gz”文件是针对Windows平台编译好的Hadoop 2.7.4版本安装包,提供了在Windows系统上部署和运行Hadoop集群的可能性。 在Hadoop 2.7.4中,有以下几个关键知识点: 1. **HDFS(Hadoop ...
1. **hadoop-common**: 这是Hadoop的基础模块,包含网络通信、安全、I/O和配置等通用功能。 2. **hadoop-hdfs-project**: 包含了HDFS的所有组件,如NameNode、DataNode和Secondary NameNode,以及客户端库和HDFS...
这个压缩包文件“hadoop-3.3.0.tar.gz”包含了Hadoop的3.3.0版本,这是一个重要的更新,提供了许多改进和新特性。在Linux环境中,我们可以使用tar命令来解压这个文件,以便在本地系统上安装和运行Hadoop。 Hadoop的...
在这个特定的兼容包中,我们可以看到两个文件:flink-shaded-hadoop-3-uber-3.1.1.7.1.1.0-565-9.0.jar(实际的兼容库)和._flink-shaded-hadoop-3-uber-3.1.1.7.1.1.0-565-9.0.jar(可能是Mac OS的元数据文件,通常...
在Linux环境下安装Hadoop 2.6.5,首先需要准备的是下载的压缩包“hadoop-2.6.5.tar.gz”。这个文件是一个归档文件,通过使用`tar`命令可以将其解压。例如,你可以使用以下命令来解压: ```bash tar -zxvf hadoop-...
hadoop-2.7.7.tar.gz+zookeeper-3.4.14.tar.gz.zip,配置hadoop+zookeeper必须,版本已适配。 hbase下载链接:https://download.csdn.net/download/tracelessle/11797862; sqoop + jdk + mysql-connector-java下载...
hadoop-2.6.0.tar.gz.mds,hadoop的安装包,版本为2.6.0,适应操作系统为Linux。
这个名为“hadoop-2.5.2.tar.gz”的压缩包文件包含了Hadoop 2.5.2版本的所有源代码、二进制文件、配置文件以及相关的文档资料。Hadoop 2.5.2是在Hadoop 2.x系列中的一个稳定版本,它引入了许多重要的改进和优化,以...
这个名为“hadoop-3.2.4.tar.gz”的压缩包文件包含了Hadoop 3.2.4版本的所有源代码、二进制文件、配置文件和其他相关资源。Hadoop在大数据领域扮演着至关重要的角色,因为它的主要组件——HDFS(Hadoop Distributed ...
`hadoop-2.7.1.tar.gz` 是一个包含了Hadoop 2.7.1版本源码或二进制文件的压缩包。这个版本在Hadoop的发展历程中是一个重要的里程碑,因为它引入了许多改进和新特性,旨在提升性能、稳定性和易用性。 1. **Hadoop...
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不...