1.对hdfs操作的命令格式是hadoop fs
1.1 -ls <path> 表示对hdfs下一级目录的查看
1.2 -lsr <path> 表示对hdfs目录的递归查看
1.3 -mkdir <path> 创建目录
1.4 -put <src> <des> 从linux上传文件到hdfs
1.5 -get <src> <des> 从hdfs下载文件到linux
1.6 -text <path> 查看文件内容
1.7 -rm <path> 表示删除文件
1.7 -rmr <path> 表示递归删除文件
2.hdfs在对数据存储进行block划分时,如果文件大小超过block,那么按照block大小进行划分;不如block size的,划分为一个块,是实际数据大小。
*****PermissionDenyException 权限不足**********
Usage: java FsShell
[-ls <path>]
[-lsr <path>]
[-du <path>]
[-dus <path>]
[-count[-q] <path>]
[-mv <src> <dst>]
[-cp <src> <dst>]
[-rm [-skipTrash] <path>]
[-rmr [-skipTrash] <path>]
[-expunge]
[-put <localsrc> ... <dst>]
[-copyFromLocal <localsrc> ... <dst>]
[-moveFromLocal <localsrc> ... <dst>]
[-get [-ignoreCrc] [-crc] <src> <localdst>]
[-getmerge <src> <localdst> [addnl]]
[-cat <src>]
[-text <src>]
[-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>]
[-moveToLocal [-crc] <src> <localdst>]
[-mkdir <path>]
[-setrep [-R] [-w] <rep> <path/file>]
[-touchz <path>]
[-test -[ezd] <path>]
[-stat [format] <path>]
[-tail [-f] <file>]
[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
[-chown [-R] [OWNER][:[GROUP]] PATH...]
[-chgrp [-R] GROUP PATH...]
[-help [cmd]]
- 浏览: 67210 次
- 性别:
- 来自: 上海
-
文章分类
- 全部博客 (107)
- Scrapy (3)
- git (1)
- eclipse (2)
- PostgreSQL (17)
- jstl (1)
- python (11)
- Oracle (6)
- jquery (2)
- MongoDB (5)
- redis (0)
- Shell (3)
- Java-POI (2)
- solr (3)
- Java (12)
- nutch (0)
- Linux (7)
- PyLucene (1)
- hadoop (13)
- maven (1)
- Kafka (3)
- oozie (2)
- Kerberos (1)
- mysql (4)
- 杂记 (1)
- Storm (0)
- spark (1)
- nosql (0)
- hive (0)
- hbase (0)
- 项目管理 (2)
- jetty (0)
- jquery page翻页代码 (0)
- liferay portal 6 (1)
- spring boot -redis (0)
最新评论
发表评论
-
Mahout--学习资料
2015-04-16 16:00 360IBM--推荐系统:http://www.ibm.com/d ... -
Hadoop RPC
2015-04-10 00:27 0第一部分:什么是RPC ... -
Hadoop 管理
2015-04-10 00:27 0第一部分:HDFS管理 命令行工具 •HDFS文件系 ... -
Hadoop IO
2015-04-10 00:26 0第一部分:数据完整性 ... -
MapReduce高级编程
2015-04-10 00:25 0第一部分:重要的组件 Combiner ... -
hadoop tunning笔记
2015-04-10 00:23 0第一部分:core-site.xml ... -
hadoop tunning
2015-04-10 00:20 469选项 类型 默认值 描述 ... -
hive UDF 与hive UDAF开发
2015-04-09 23:19 0hive UDF HIVE允许用户使用UDF(user def ... -
hadoop2.x分布式安装
2015-03-30 00:43 0前期的环境准备都一样的,就不多说了----------vi / ... -
Hadoop 2.x伪分布式安装_20140729
2015-03-30 00:43 0软件的安装目录: ... -
11_flume
2015-03-30 00:42 0目前常见的日志收集系统:facebook-scribe、clo ... -
10_sqoop
2015-03-30 00:42 0SQOOP是用于对数据进行导入导出的。 (1)把MySQ ... -
09_hive
2015-03-30 00:42 01.Hive1.1在hadoop生态圈中 ... -
08_pig
2015-03-30 00:41 01.Pig是基于hadoop的一个数据处理的框架。 MapR ... -
07_Hbase集群搭建
2015-03-30 00:41 01.hbase的机群搭建过程(在原来的hadoop0上的hba ... -
06_HBase单节点
2015-03-30 00:40 01.HBase(NoSQL)的数据模型1.1 表(table) ... -
05_ZooKeeper
2015-03-30 00:40 5201.ZooKeeper 1.1 zk可以用来保证数据在z ... -
04_hadoop1.x的分布式安装
2015-03-30 00:39 4141.hadoop的分布式安装过程 1.1 分布结构 ... -
02_单节点安装
2015-03-30 00:38 4161.hadoop的伪分布安装 hadoop-1.2.01.1 ... -
Hadoop--CLI的解析
2015-03-17 15:51 765基于 Apache Commons CLI 的命令行设计 ...
相关推荐
03_hadoop_hdfs1分布式文件系统03 04_hadoop_hdfs1分布式文件系统04 05_hadoop_hdfs1分布式文件系统05 06_hadoop_hdfs1分布式文件系统06 07_hadoop_hdfs1分布式文件系统07 08_hadoop_hdfs1分布式文件系统08_io 09_...
HDFS 操作详解 大数据实验 2:熟悉常用的 HDFS 操作答案旨在帮助用户熟悉 HDFS 在 Hadoop 体系结构中的角色,并掌握使用 HDFS 操作常用的 Shell 命令和 Java API。 理解 HDFS 在 Hadoop 体系结构中的角色 HDFS...
通过以上四个步骤,你已经成功地设置了HDFS客户端开发环境,可以开始编写Java程序来执行读写和其他HDFS操作了。在实际应用中,你可能还需要处理更多细节,比如错误处理、权限控制、性能优化等。如果你在开发过程中...
Hadoop 大数据开发实战教学教案—03HDFS 分布式文件系统.pdf 本节课程主要介绍 HDFS 的概念、HDFS 存储架构和数据读写流程、HDFS 的 Shell 命令、Java 程序操作 HDFS、Hadoop 序列化、Hadoop 小文件处理、通信机制 ...
在这个"【IT十八掌徐培成】Hadoop第03天-03.hdfs FileSystem API.zip"压缩包中,他主要探讨了Hadoop的分布式文件系统(HDFS)的FileSystem API,这是Hadoop编程中的重要部分。 HDFS是Hadoop的核心组件,设计为高度...
学习者将了解如何使用HDFS API进行文件的上传、下载和操作。 2. MapReduce:Hadoop的并行计算模型,包括Map阶段和Reduce阶段。学习者会学习如何编写Map和Reduce函数来处理数据。 3. YARN(Yet Another Resource ...
- hadoop03 (dn): DataNode + ZooKeeper + QJM 2. **软件规划**: - JDK 1.7及以上版本。 - 关闭系统防火墙。 - SSH免密码访问配置,确保各节点之间可以无障碍通信。 3. **ZooKeeper集群**:假设已有一个可用的...
### HDFS + Spark 安装部署知识点 #### HDFS安装部署 ##### 目的 本文档旨在指导读者完成Hadoop伪分布式环境下HDFS的安装与部署。通过本指南的学习,您将能够掌握如何搭建一个基本的HDFS集群,并了解相关的配置步骤...
3. **读写流程**:分析HDFS的读取和写入过程,阐述客户端如何与NameNode交互获取数据位置,以及如何通过DataNode进行数据传输,同时讨论HDFS的文件追加和修改操作。 4. **容错与恢复**:深入探讨HDFS的故障检测、...
在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分析。...通过学习“第03节:hadoop精讲之hdfs详解.pdf”这份资料,你将能深入了解HDFS的工作机制,提升在大数据领域的专业素养。
7. **复制表结构**:`create table student03 like student;` 8. **删除表**:`drop table if exists student;` 9. **清空表内容**(保留表结构):`truncate table student;` 10. **加载数据**:`load data local ...
本资源"【IT十八掌徐培成】Hadoop第03天-04.hdfs FileSystem API-write.zip"聚焦于Hadoop中的HDFS(Hadoop Distributed File System)FileSystem API的写入操作。HDFS是Hadoop的核心组成部分,它是一个分布式文件...
hadoop测试(1)---HDFS文件操作 完整测试代码, 相关文章:http://www.cnblogs.com/yinpengxiang/archive/2011/07/03/2096605.html
1. **HDFS(Hadoop Distributed File System)**:HDFS是Hadoop的核心组件,设计为存储和处理大规模数据集。其特点是硬件错误容忍、流式数据访问、简单一致性模型。文件在HDFS中一旦写入,就不能修改,确保数据的...
首先,`01_hdfs_demo`是关于Hadoop分布式文件系统(HDFS)的示例,它展示了如何在HDFS上进行基本的文件操作,如上传、下载、查看和删除文件。学习这部分可以了解HDFS的工作原理以及如何利用HDFS进行大规模数据存储。...
在HDFS中,为了简化文件管理操作,可以定义一系列基础的API接口。例如,以下是一个示例性的`HdfsFileService`接口: ```java public interface HdfsFileService { void mkdirs(String path) throws Exception; // ...
通过观看“IT十八掌徐培成”课程中的“Hadoop第03天-05.hdfs FileSystem API-read-filestatus.avi”视频,你可以更直观地了解这些概念和实践操作。视频可能涵盖了如何在实际环境中使用这些API,以及它们在大数据处理...
处理结果可以存储在多种系统中,包括 HDFS 和数据库。 **核心概念:DStream** DStream(Discretized Stream)是 Spark Streaming 的核心抽象,代表随着时间推移连续接收的数据流。它实际上是由一系列连续的 RDD...