`
扬州老鬼
  • 浏览: 306274 次
  • 性别: Icon_minigender_1
  • 来自: 苏州
社区版块
存档分类
最新评论

hdfs的文件访问控制

 
阅读更多
这两天准备研究一下hadoop的文件访问控制。先从hdfs的访问控制来说。
这篇文章很简单,主要是提醒自己以及各位注重hdfs上面的访问控制。

在hdfs上面的文件以及文件目录的访问控制,跟操作系统的访问控制是一样的,posix文件系统的权限控制模型一样。我只讲怎么验证:
drwxrwxrwx   - hadoop root                0 2013-03-09 11:14 /user/root
-rw-rw-rw-   3 hadoop root               29 2013-03-09 11:03 /user/root/input
drwxr-xr-x   - root   root                0 2013-03-14 21:22 /user/root/output
[root@Hadoop bin]# ./hdfs dfs -rm  /user/hadoop/yyp/part-r-00000
rm: Permission denied: user=root, access=WRITE, inode="/user/hadoop/yyp":hadoop:supergroup:drwxr-xr-x
[root@Hadoop bin]# ./hdfs dfs -rm  /user/root/output
rm: `/user/root/output': Is a directory
[root@Hadoop bin]# ./hdfs dfs -rmdir  /user/root/output
[root@Hadoop bin]# 

上面我使用root用户来运行hadoop的client,这个客户端只能对自己的文件进行操作,不能对其他用户组的文件进行操作。


首先用户启动hdfs的守护进程的时候,那个用户就被归属为supergroup,这个supergroup用户当当与root用户,能够删除hdfs上面的所有文件,所以如果你的hdfs上面存储了比如hbase的数据信息,有这么一个超级用户存在,的确是比较危险的。
drwxr-xr-x   - root   root                0 2013-03-14 20:54 /user/root/output
-rw-r--r--   3 root   root                0 2013-03-09 11:14 /user/root/output/_SUCCESS
[hadoop@Hadoop mapreduce]$ hdfs dfs -rm /user/root/output/_SUCCESS
[color=red]Deleted /user/root/output/_SUCCESS[/color] 成功删除


若要改变文件的用户组,需要使用supergroup内的用户(我的是hadoop)运行:
[hadoop@Hadoop mapreduce]$ hdfs  dfs  -chgrp -R  root  /user/root/


0
0
分享到:
评论

相关推荐

    hdfs-over-ftp-hadoop-0.20.0.rar_ftp_ftpoverhdfs_hdfs文件传入ftp_java

    标签 "ftp ftpoverhdfs hdfs文件传入ftp java_hadoop java_hdfs-over-ftp" 进一步明确了主题。"ftpoverhdfs"可能是指一个特定的模块或工具,它允许FTP通信“覆盖”HDFS,即通过FTP接口操作HDFS。"java_hadoop"和...

    HDFS文件系统技术详解.pdf

    总的来说,HDFS文件系统通过其独特的读写机制、副本策略和丰富的访问接口,实现了大数据环境下的高效、可靠的数据存储和访问。理解并熟练掌握这些知识,对于在Hadoop生态系统中进行数据处理和分析至关重要。

    Hadoop(HDFS文件系统)命令操作

    - **-getfacl [-R] **:显示文件或目录的访问控制列表 (ACL)。 - **-getmerge [-nl] <src> **:合并 HDFS 中的多个文件为本地的一个文件。 - **-help [cmd]**:显示命令的帮助信息。 - **-ls [-d] [-h] [-R] []**:...

    JavaWeb操作hadoop2.6 HDFS,从页面上传,下载,列表展示的demo

    在JavaWeb开发中,将Hadoop 2.6的HDFS(Hadoop Distributed File System)集成进项目,可以实现高效的数据存储和访问。本Demo基于SpringMVC和MyBatis框架,提供了从网页进行文件上传、下载以及列表展示的功能,这...

    基于HDFS+FTP的文件存储与迁移实验代码.zip

    HDFS以大块为单位存储文件,支持流式数据访问,适合大规模数据处理。 **HDFS的关键特性:** 1. **高可用性**:通过NameNode的热备和数据复制,确保服务的连续性和数据的安全性。 2. **容错性**:如果DataNode故障...

    hdfs官方文档 Hadoop分布式文件系统:结构与设计.pdf

    4. **简单一致性模型**:HDFS支持“一次写入,多次读取”的文件访问模式,简化了数据一致性问题,提高了数据处理效率。虽然目前不支持增量写入,但这是未来可能的发展方向。 5. **计算向数据靠拢**:HDFS鼓励计算...

    hadoop hdfs ftp

    同时,可以通过配置用户认证(如PAM或Hadoop的SimpleAuthentication)来控制对HDFS的访问。 3. **目录映射**:FTP服务器可以配置为映射HDFS路径到特定的FTP目录,这使得用户可以通过简单的FTP路径访问HDFS上的文件...

    基于spring-boot和hdfs的网盘.zip

    文件“fileOperation-master”可能是一个包含源代码或配置文件的项目子模块,用于实现与HDFS文件操作相关的功能。这个子模块可能包含了Java类,这些类使用Spring Data Hadoop的API来实现文件上传、下载等操作,或者...

    大数据技术基础实验报告-HDFS常用操作命令.doc

    - `hdfs dfs -setfacl`: 设置文件或目录的访问控制列表(ACL)。 - `hdfs dfs -setrep`: 修改文件的副本数。 这些命令对于HDFS的日常管理和数据操作至关重要,它们帮助用户高效地处理大规模数据,实现数据的存储、...

    HDFS实验手册.pdf

    - **dfs.namenode.acls.enabled**: 是否启用文件访问控制列表(ACLs),这可以更细粒度地控制对文件或目录的访问。 - **dfs.umask**: 设置新建文件或目录的默认掩码。例如:`<value>022</value>`。 - **dfs....

    hdfs优缺点

    1. **流式数据访问**:HDFS支持流式数据访问模式,这意味着用户可以按需读取数据而无需加载整个文件到内存中,这对于实时数据分析尤其有用。 2. **支持多种客户端访问**:HDFS提供了多种接口供不同类型的客户端使用...

    hdfs,hbase命令原理介绍

    3. **流式文件访问**:HDFS 支持一次写入、多次读取的数据模型。文件一旦创建后,其内容无法被修改,但可以追加数据。 4. **支持大数据处理**:HDFS 能够处理 GB、TB 乃至 PB 级别的数据,并且支持成千上万个文件的...

    6、HDFS的HttpFS-代理服务

    - 使用配置过的用户尝试通过HttpFS进行HDFS文件操作,如创建目录或提交MapReduce作业,验证配置的有效性。 **四、与WebHDFS的比较** WebHDFS是HDFS原生支持的RESTful API,可以直接通过HTTP协议与HDFS通信,适用...

    阿里云 专有云企业版 V3.8.1 文件存储HDFS 技术白皮书 20190910

    * 授权机制:使用ACL(Access Control List)或其他授权机制,控制用户对文件系统的访问权限。 * 加密机制:使用加密算法,保护数据的隐私和安全性。 8. 文件存储HDFS的性能优化 文件存储HDFS的性能优化主要包括...

    大数据HDFS文档

    - **认证与授权**: 提供了多种机制来控制用户对文件系统的访问权限,包括基于用户名的身份验证和基于ACL的访问控制。 - **审计**: 记录系统的所有活动,帮助管理员监控和审查用户的操作行为。 综上所述,HDFS是一种...

    基于HDFS的视频播放

    综上所述,“基于HDFS的视频播放”是一个综合了分布式存储、流媒体服务、负载均衡、容错恢复、安全控制等多个技术领域的实践。通过合理的设计和优化,可以在HDFS上构建高效、稳定的视频点播平台,为用户提供高质量的...

Global site tag (gtag.js) - Google Analytics