`
gaozzsoft
  • 浏览: 427014 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类

修改HDFS上的文件所属用户、所属组等读写执行控制权限

 
阅读更多

 

   HDFS支持权限控制,但支持较弱。HDFS的设计是基于POSIX模型的,支持按用户、用户组、其他用户的读写执行控制权限。在linux命令行下,可以使用下面的命令修改文件的权限、文件所有者,文件所属组:

sudo addgroup Hadoop#添加一个hadoop组

sudo usermod -a -G hadoop larry#将当前用户加入到hadoop组

sudo gedit etc/sudoers#将hadoop组加入到sudoer

在root ALL=(ALL) ALL后 hadoop ALL=(ALL) ALL

修改hadoop目录的权限

sudo chown -R larry:hadoop /home/larry/hadoop<所有者:组 文件>

sudo chmod -R 755 /home/larry/hadoop

修改hdfs的权限

sudo bin/hadoop dfs -chmod -R 755 /

sudo bin/hadoop dfs -ls /

修改hdfs文件的所有者

sudo bin/hadoop fs -chown -R larry /

sudo bin/hadoop dfsadmin -safemode leave #解除hadoop的安全模式

hadoop fs -copyFromLocal <localsrc> URI#拷贝本地文件到hdfs

hadoop fs -cat file:///file3 /user/hadoop/file4#将路径指定文件的内容输出到stdout

hadoop fs -chgrp [-R] GROUP URI#改变文件的所属组

hadoop fs -chmod [-R] 755 URI#改变用户访问权限

hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]#修改文件的所有者

hadoop fs -copyToLocal URI localdst#拷贝hdfs文件到本地

hadoop fs -cp URI [URI …] <dest>#拷贝hdfs文件到其它目录

hadoop fs -du URI [URI …]#显示目录中所有文件的大小

hadoop fs -getmerge <src> <localdst> [addnl]#合并文件到本地目录

 

如:

root@cdh3:~# hdfs dfs -ls /

Found 8 items

drwxr-xr-x   - hbase hbase               0 2017-06-24 10:05 /hbase

drwxrwxr-x   - solr  solr                0 2016-12-01 22:43 /solr

drwxr-xr-x   - root  supergroup          0 2017-04-24 22:58 /sparklib

drwxr-xr-x   - root  supergroup          0 2017-07-19 17:44 /sparklib-2.1.0

drwxr-xr-x   - hdfs  supergroup          0 2016-12-05 09:08 /system

drwxrwxrwt   - hdfs  supergroup          0 2017-07-13 09:40 /tmp

drwxr-xrwx   - hdfs  supergroup          0 2017-06-23 10:54 /user

drwxr-xr-x   - root  supergroup          0 2017-04-13 11:12 /file

root@cdh3:~# hdfs dfs -chown Administrator /file

chown: changing ownership of '/file': Non-super user cannot change owner

root@cdh3:~# hdfs dfs -chown -R Administrator /file

chown: changing ownership of '/file': Non-super user cannot change owner

root@cdh3:~# su hdfs

hdfs@cdh3:/root$ hdfs dfs -chown -R Administrator /file

hdfs@cdh3:/root$ hdfs dfs -chgrp -R Administrator /file

hdfs@cdh3:/root$ hdfs dfs -ls /file

Found 9 items

-rw-r--r--   2 Administrator Administrator       3302 2017-04-13 11:11 /file/data-transfer.properties

-rw-r--r--   2 Administrator Administrator     313898 2017-04-13 11:00 /file/dom4j-1.6.1.jar

drwxr-xr-x   - Administrator Administrator          0 2017-04-12 10:03 /file/hangxin

-rw-r--r--   2 Administrator Administrator      24212 2017-03-17 12:06 /file/hx.jar

-rw-r--r--   2 Administrator Administrator     802721 2017-03-17 11:50 /file/mysql-connector-java-5.1.20-bin.jar

drwxr-xr-x   - Administrator Administrator          0 2017-03-22 09:46 /file/notregex

drwxr-xr-x   - Administrator Administrator          0 2017-04-25 00:01 /file/regex

-rw-r--r--   2 Administrator Administrator     106006 2017-04-13 11:12 /file/sihconfig.xml

-rw-r--r--   2 Administrator Administrator        123 2017-03-16 14:31 /file/spark-config.properties

--------------------- 

转自原文:https://blog.csdn.net/xianjie0318/article/details/75453758 

 

分享到:
评论

相关推荐

    HDFS文件系统基本文件命令、编程读写HDFS

    该 API 包括了 open、read、write、close 等方法,用于读写 HDFS 文件。 使用 HDFS API 可以实现以下操作: 1. 上传本地文件:使用 FileSystem.copyFromLocalFile() 方法将本地文件上传到 HDFS。 2. 下载 HDFS ...

    HDFS文件读写操作

    ### HDFS文件读写操作详解 #### 一、HDFS架构概述 HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目之一,旨在提供高吞吐量的数据访问,适用于大规模数据集上的应用。HDFS采用了Master/Slave的...

    java 读写 hdfs文件系统例子(包括权限设置)

    java 读写 hdfs文件系统例子(包括权限设置);java 读写 hdfs文件系统例子(包括权限设置)java 读写 hdfs文件系统例子(包括权限设置)

    3、HDFS的使用(读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件

    为了高效地与HDFS交互,Java API 提供了一套丰富的工具和类库,使得开发者能够方便地进行文件的读写、上传、下载、遍历、查找、拷贝以及管理HDFS上的文件和目录。以下将详细讲解如何使用Java API 操作HDFS。 ### 一...

    HDFS文件的查看

    hdfs文件的查看 hdfs fs -cat /文件名

    《Hadoop大数据开发实战》教学教案—03HDFS分布式文件系统.pdf

    本节课程主要介绍 HDFS 的概念、HDFS 存储架构和数据读写流程、HDFS 的 Shell 命令、Java 程序操作 HDFS、Hadoop 序列化、Hadoop 小文件处理、通信机制 RPC 等知识点。 HDFS 概念 HDFS(Hadoop Distributed File ...

    Hadoop存储系统HDFS的文件是分块存储.docx

    - **NameNode**:负责管理文件系统的命名空间,即文件系统的元数据(如文件和目录的名称、权限等信息),以及文件块到具体DataNode的映射关系。 - **DataNode**:负责存储实际的数据块。 为了确保整个系统的健壮性...

    Python连接HDFS实现文件上传下载及Pandas转换文本文件到CSV操作

    标题中的知识点主要涉及Python连接HDFS进行文件上传下载以及Pandas转换文本文件到CSV的操作。在描述中,提到了Python在Linux环境下与HDFS交互的需求,以及使用Pandas进行数据处理的场景。从标签中我们可以进一步了解...

    云计算技术实验报告四HDFS文件的读写

    实验报告“云计算技术实验报告四HDFS文件的读写”主要涵盖了如何在Hadoop的分布式文件系统(HDFS)上进行文件操作,包括文件的上传和下载,以及文件的合并。该实验是针对计算机科学专业的《云计算技术》课程设计,...

    hdfs-文件读写测试

    ### HDFS 文件读写原理详解 #### 一、HDFS 写入原理 HDFS (Hadoop Distributed File System) 是一种分布式文件系统,主要用于存储大量数据。为了保证数据的可靠性和高可用性,HDFS 采用了多副本机制,通常每个文件...

    windows平台下的HDFS文件浏览器

    标题中的“Windows平台下的HDFS文件浏览器”是指在Windows操作系统上使用的、用于浏览和管理Hadoop分布式文件系统(HDFS)的图形用户界面工具。这种工具通常提供了方便的方式来查看、上传、下载和管理HDFS中的文件和...

    利用javaAPI访问HDFS的文件

    在Java程序中操作HDFS文件主要依赖于`org.apache.hadoop.fs.FileSystem`类,该类提供了许多方法用于执行文件系统操作,如创建文件、删除文件、读写文件等。 ##### 1. 创建文件系统实例 ```java Configuration conf ...

    web中进行HDFS文件系统操作的demo

    在这个“web中进行HDFS文件系统操作的demo”中,我们将探讨如何通过Web界面与HDFS进行交互,使得用户能够方便地管理HDFS上的文件和目录,而无需直接使用命令行工具。这个demo是由jsp(JavaServer Pages)编写的,这...

    eclipse操作HDFS需要文件

    4. **编写Hadoop程序**:使用Eclipse创建Java项目,导入Hadoop相关的库(这些库通常可以从Hadoop的lib目录下找到),编写读写HDFS文件的代码。 5. **测试HDFS操作**:通过Eclipse内置的HDFS浏览器或者在代码中调用...

    HDFS小文件处理方案

    ### HDFS小文件处理方案详解 #### 一、概述与挑战 HDFS(Hadoop Distributed File System)设计初衷是为了高效地存储和处理大型文件。然而,在面对大量的小文件时,HDFS面临着诸多挑战: 1. **内存限制**:...

    HDFS文件系统

    3. **客户端(Client)**:用于与HDFS交互,提供API让用户进行文件的创建、删除、重命名等操作,同时也负责将文件分割成块,并上传到DataNode。 #### 三、HDFS文件系统的数据读写 HDFS设计之初就考虑到了大规模数据...

    python解析hdfs文件和实现方式

    Python在大数据处理领域有着广泛的应用,特别是在处理分布式文件系统如Hadoop HDFS(Hadoop Distributed File ...理解这些基本操作后,你可以根据具体需求进行更复杂的HDFS文件处理,如分块读取大文件、并行处理等。

    HDFS读写流程.xmind

    HDFS读写数据流程描述,脑图展示,易于理解与记忆,仅供学习使用。HDFS分布式文件系统是一个主从架构,主节点是NameNode,负责管理整个集群以及维护集群的元数据信息;从节点是DataNode,主要负责文件数据存储。

Global site tag (gtag.js) - Google Analytics