使用hadoop 启动之后,无法进行put ,发现datanode是0,
error :
hadoop fs -put could only be replicated to 0 nodes, instead of
找了好久原因,发现 /etc/hosts文件下 映射配置了 2个 host映射。。小菜了。哈哈
127.0.0.1 wei
192.168.85.130 wei
使用netstat -ntpl 查看竟然使用的是 127.0.0.1
去掉 了 hosts文件的 本地配置之后,删除127.0.0.1 之后,重新启动,
datanode 已经启动。
hadoop namenode -format
hadoop start-all.sh
分享到:
相关推荐
- **文件操作**:Hadoop提供了一个名为`hadoop fs`的命令行工具,可以进行HDFS上的文件操作,如`hadoop fs -put`用于上传本地文件到HDFS,`hadoop fs -get`用于下载HDFS中的文件到本地,`hadoop fs -ls`则用于列出...
使用HDFS客户端,用户可以执行如`hadoop fs -ls`列出目录内容,`hadoop fs -put`上传文件,`hadoop fs -get`下载文件等操作。这些命令通过Hadoop的shell界面提供,使得在Windows上与远程HDFS集群的交互变得简单。 ...
hadoop fs -put localdirectory /hdfs/path ``` 这会将本地的`localfile`或`localdirectory`拷贝到HDFS的`/hdfs/path`下。 3. **get**: 从HDFS下载文件到本地。例如: ```bash hadoop fs -get /hdfs/path/...
在Hadoop中,所有文件系统(FS)Shell命令都应以bin/hadoop fs 的形式调用。命令行中的URI路径用作参数,其格式为scheme://authority/path。对于HDFS文件系统,scheme是hdfs,而对于本地文件系统,scheme是file。...
3. 通过`hadoop fs -put`命令将本地文件上传到HDFS,然后使用`hadoop fs -ls`检查文件是否成功上传。 五、注意事项 在Windows上运行Hadoop可能会遇到一些特有的问题,比如文件权限问题、路径分隔符差异等。在解决...
- **上传文件**:`hadoop fs -put <localfile> <dest>`,例如`hadoop fs -put /home/hadoop/test.txt /user/hadoop`。 - **下载文件**:`hadoop fs -get <src> <localdir>`,例如`hadoop fs -get /user/hadoop/test....
1. **上传文件**: 使用`hadoop fs -put`命令将本地文件上传至HDFS,如`hadoop fs -put C:\test\input.txt /input`。 2. **运行MapReduce示例**: 可以尝试运行WordCount程序来验证Hadoop是否正常工作。首先将示例...
一旦Hadoop成功安装,你可以使用HDFS命令行工具进行文件操作,如`hadoop fs -put`上传文件,`hadoop fs -ls`列出文件,以及`hadoop fs -cat`查看文件内容。对于MapReduce作业,你可以编写Java程序或者使用Hadoop ...
3. **上传测试文件**:可以使用命令`hadoop fs -put test.txt /input`上传一个测试文件`test.txt`到HDFS上的`/input`目录。这里假设`test.txt`文件已经存在于Hadoop安装目录中。 4. **检查文件**:使用`hadoop fs -...
- `hput`:等同于`hadoop fs -put`,用于上传文件到HDFS。 - `hgetm`:等同于`hadoop fs -getmerge`,用于合并多个文件并下载到本地。 - `hsetrep`:等同于`hadoop fs -setrep`,用于设置文件的副本数。 6. **...
hadoop fs -put命令从本地文件系统复制文件到HDFS,也支持从标准输入读取并写入。 15. 文件副本系数:hadoop fs -setrep [-R]命令用于改变文件的副本系数。选项-R用于递归地改变目录下所有文件的副本系数。 16. ...
例如,上传本地文件"network.txt"到HDFS,可以使用命令"hadoop fs -put /home/sys-01/Exercise/case_node_500000/network.txt /network.txt"。其中,"/home/sys-01/Exercise/case_node_500000/network.txt"是本地...
- `hadoop fs -put /home/admin/newFile /user/admin/aaron/`:将本地文件/home/admin/newFile复制到HDFS的/user/admin/aaron目录下。 - `hadoop fs -get <hdfsPath> <localPath>`:将HDFS文件复制到本地文件系统...
- `hadoop fs -put <config-file> /etc/hadoop/`:更新配置文件。 - **配置查询**: - `hadoop config -list`:显示所有配置选项。 - `hadoop config -get <property>`:获取特定配置项的值。 #### 三、高级特性...
### Hadoop-FS指令学习详解 #### 一、HDFS概览 **HDFS**(Hadoop Distributed File System)是Hadoop生态系统中的一个关键组件,它主要用于处理大规模数据集的存储问题。随着数据量的增长,传统的单机文件系统已经...
相反,`hadoop fs -put`用于将本地文件上传到HDFS,如`hadoop fs -put ~/localfile.txt /hdfsdir/`。 10. **获取文件元数据(stat)**: `hadoop fs -stat`命令用于获取文件或目录的元数据信息,包括大小、修改...
首先,要使用HDFS的FS Shell命令,您需要使用`hadoop fs <args>`的形式来调用,其中`<args>`是您想执行的FS Shell命令以及其参数。所有FS Shell命令使用URI路径作为参数,URI格式为`scheme://authority/path`。对于...
- **上传数据**:使用`hadoop fs -put`命令将本地文件系统中的文件上传到HDFS。 - **查看数据**:`hadoop fs -ls`列出目录内容,`hadoop fs -cat`查看文件内容。 - **删除数据**:`hadoop fs -rm`删除文件或目录...
- **示例**:`hadoop fs -put a.txt /mapreduce` 将本地文件a.txt上传到HDFS的/mapreduce目录。 ##### 5.2 `-get <src> <localdst>` - **功能**:将HDFS中的文件下载到本地。 - **命令格式**:`hadoop fs -get ...
- **示例**:`hadoop fs -put /local/path/to/file.txt /hdfs/path/to/directory/` 2. **hadoop fs -get** - **用途**:从HDFS下载文件到本地。 - **格式**:`hadoop fs -get <src> <localdst>` - **示例**:`...