本文地址:http://blog.csdn.net/kongxx/article/details/6892675
安装hadoop的官方文档安装后,在伪分布式模式下运行
bin/hadoop fs -put conf input
出现以下异常
检查了一下发现是由于默认的hadoop.tmp.dir的路径为/tmp/hadoop-${user.name},而我的linux系统的/tmp目录文件系统的类型往往是Hadoop不支持的。所以这里就需要更改一下hadoop.tmp.dir的路径到别的地方,这里指定到hadoop的安装路径下的一个子目录。具体步骤如下:
1. 修改${HADOOP_HOME}/conf/core-site.xml文件,修改后文件内如如下:
2. 重新启动hadoop的daemon
3. 再次运行以下命令就不会再有异常出现了
另外也有些别的情况会导致这个问题,具体可以参考Hadoop:could only be replicated to 0 nodes, instead
分享到:
相关推荐
<groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.7.2</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</...
NCDC气象数据 1千条元数据。 数据例: 0029029070999991901010106004+64333+023450FM-12+000599999 mapreduce程序无法运行报以下错误时 [ERROR] /E:/eclipse/workspace/myhadoop/App.java:[3,30] 程序包org....
<name>hadoop.tmp.dir</name> <value>/root/hadoopv3/tmp</value> </property> </configuration> hdfs-site.xml <configuration> <property> <name>dfs.replication</name> <value>3</value> </property> ...
` <value>/usr/hadoop/hadoop-2.6.4/dfs/name</value>` ` </property>` ` <property>` ` <name>dfs.datanode.data.dir</name>` ` <value>/usr/hadoop/hadoop-2.6.4/dfs/data</value>` ` </property>` ` <property>` ...
<value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value> </property> </configuration> 5. 配置`yarn-site.xml`文件。在`yarn-site.xml`文件中,添加...
<value>file:/home/trs/hadoop/hadoop-2.7.3/tmp</value> </property> <property> <name>io.file.buffer.size</name> <value>4096</value> </property> </configuration> ``` - **mapred-site.xml**:此...
<value>hadoop-cluster1</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>192.168.116.10:50090</value> </property> <property> <name>dfs.namenode.name.dir</...
<mirrorOf>central</mirrorOf> </mirror> 在 pom.xml 文件中,我们需要加入 Spark 环境所需要的一些依赖包。以下是 pom.xml 文件的部分内容: <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi=...
<value>/home/user/hadoop/hdfs/namenode</value> </property> <property> <name>dfs.data.dir</name> <value>/home/user/hadoop/hdfs/datanode</value> </property> </configuration> ``` 5. **配置...
<value>file:///opt/hadoop/hadoop3/tmp</value> </property> ``` 这里的 `192.168.10.21` 是第一台节点 IP,即 NameNode 的 IP 地址。 **3.3 配置 hdfs-site.xml** 编辑 `hdfs-site.xml` 文件,在 `...
<value>1</value> </property> <property> <name>dfs.name.dir</name> <value>/usr/local/hadoop_store/hdfs/namenode</value> </property> <property> <name>dfs.data.dir</name> <value>/usr/local/...
<value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/data/nn</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:...
<value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/home/hadoop/hadoop-2.7.7/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> ...
<value>/hadoop/name</value> </property> 再次,需要修改 hadoop 目录下的 conf/hdfs-site.xml 文件,修改成以下内容: <property> <name>dfs.replication</name> <value>3</value> </property> <property> ...
<value>file:///app/hadoop/data/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:///app/hadoop/data/datanode</value> </property> ``` 3. 修改`etc/hadoop/yarn-...
<value>1</value> </property> <property> <name>dfs.name.dir</name> <value>file:///C:/hadoop/data/name</value> </property> <property> <name>dfs.data.dir</name> <value>file:///C:/hadoop/data/...
<value>/data/hadoop/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/data/hadoop/hdfs/datanode</value> </property> ``` - `mapred-site.xml`: 指定MapReduce...
<name>dfs.namenode.rpc-address.wang.nn1</name> <value>master:8020</value> </property> <property> <name>dfs.namenode.rpc-address.wang.nn2</name> <value>slave1:8020</value> </property> ...
<value>file:/home/user/hadoop/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/home/user/hadoop/dfs/data</value> </property> ``` 四、Zookeeper安装 1. ...
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-<version>.jar wordcount input output ``` 以上就是配置单机伪分布式Hadoop的基本步骤,这将帮助你理解Hadoop的工作原理,并为更复杂的分布式环境...