`
gaozzsoft
  • 浏览: 432482 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类

修改HDFS上的文件所属用户、所属组等读写执行控制权限

 
阅读更多

 

   HDFS支持权限控制,但支持较弱。HDFS的设计是基于POSIX模型的,支持按用户、用户组、其他用户的读写执行控制权限。在linux命令行下,可以使用下面的命令修改文件的权限、文件所有者,文件所属组:

sudo addgroup Hadoop#添加一个hadoop组

sudo usermod -a -G hadoop larry#将当前用户加入到hadoop组

sudo gedit etc/sudoers#将hadoop组加入到sudoer

在root ALL=(ALL) ALL后 hadoop ALL=(ALL) ALL

修改hadoop目录的权限

sudo chown -R larry:hadoop /home/larry/hadoop<所有者:组 文件>

sudo chmod -R 755 /home/larry/hadoop

修改hdfs的权限

sudo bin/hadoop dfs -chmod -R 755 /

sudo bin/hadoop dfs -ls /

修改hdfs文件的所有者

sudo bin/hadoop fs -chown -R larry /

sudo bin/hadoop dfsadmin -safemode leave #解除hadoop的安全模式

hadoop fs -copyFromLocal <localsrc> URI#拷贝本地文件到hdfs

hadoop fs -cat file:///file3 /user/hadoop/file4#将路径指定文件的内容输出到stdout

hadoop fs -chgrp [-R] GROUP URI#改变文件的所属组

hadoop fs -chmod [-R] 755 URI#改变用户访问权限

hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]#修改文件的所有者

hadoop fs -copyToLocal URI localdst#拷贝hdfs文件到本地

hadoop fs -cp URI [URI …] <dest>#拷贝hdfs文件到其它目录

hadoop fs -du URI [URI …]#显示目录中所有文件的大小

hadoop fs -getmerge <src> <localdst> [addnl]#合并文件到本地目录

 

如:

root@cdh3:~# hdfs dfs -ls /

Found 8 items

drwxr-xr-x   - hbase hbase               0 2017-06-24 10:05 /hbase

drwxrwxr-x   - solr  solr                0 2016-12-01 22:43 /solr

drwxr-xr-x   - root  supergroup          0 2017-04-24 22:58 /sparklib

drwxr-xr-x   - root  supergroup          0 2017-07-19 17:44 /sparklib-2.1.0

drwxr-xr-x   - hdfs  supergroup          0 2016-12-05 09:08 /system

drwxrwxrwt   - hdfs  supergroup          0 2017-07-13 09:40 /tmp

drwxr-xrwx   - hdfs  supergroup          0 2017-06-23 10:54 /user

drwxr-xr-x   - root  supergroup          0 2017-04-13 11:12 /file

root@cdh3:~# hdfs dfs -chown Administrator /file

chown: changing ownership of '/file': Non-super user cannot change owner

root@cdh3:~# hdfs dfs -chown -R Administrator /file

chown: changing ownership of '/file': Non-super user cannot change owner

root@cdh3:~# su hdfs

hdfs@cdh3:/root$ hdfs dfs -chown -R Administrator /file

hdfs@cdh3:/root$ hdfs dfs -chgrp -R Administrator /file

hdfs@cdh3:/root$ hdfs dfs -ls /file

Found 9 items

-rw-r--r--   2 Administrator Administrator       3302 2017-04-13 11:11 /file/data-transfer.properties

-rw-r--r--   2 Administrator Administrator     313898 2017-04-13 11:00 /file/dom4j-1.6.1.jar

drwxr-xr-x   - Administrator Administrator          0 2017-04-12 10:03 /file/hangxin

-rw-r--r--   2 Administrator Administrator      24212 2017-03-17 12:06 /file/hx.jar

-rw-r--r--   2 Administrator Administrator     802721 2017-03-17 11:50 /file/mysql-connector-java-5.1.20-bin.jar

drwxr-xr-x   - Administrator Administrator          0 2017-03-22 09:46 /file/notregex

drwxr-xr-x   - Administrator Administrator          0 2017-04-25 00:01 /file/regex

-rw-r--r--   2 Administrator Administrator     106006 2017-04-13 11:12 /file/sihconfig.xml

-rw-r--r--   2 Administrator Administrator        123 2017-03-16 14:31 /file/spark-config.properties

--------------------- 

转自原文:https://blog.csdn.net/xianjie0318/article/details/75453758 

 

分享到:
评论

相关推荐

    HDFS permission guide

    HDFS权限模型对文件和目录的权限进行了详细的定义,包括对文件所有者、所属组和其他用户的读写权限。 HDFS的权限模型中,每个文件和目录都关联了一个所有者(owner)和一个所属组(group)。对文件来说,所有者、...

    hadoop 客户端权限问题

    在上述日志中,我们看到文件的所有者是"hadoop",所属组为"supergroup",并且文件的权限设置为"-rw-r--r--",意味着所有者有读写权限,而同组用户和其他用户只有读权限。由于用户"xudsa"试图写入文件,但不是文件...

    《大数据平台搭建与配置管理》期末考试卷及答案.docx

    24. **HDFS文件模型** - **知识点**: HDFS采用了主从架构的简单文件模型,其中NameNode负责管理文件系统的命名空间,而DataNode负责存储实际的数据块。 25. **HDFS的设计目标** - **知识点**: HDFS主要面向高吞吐...

    陕西省2025年初中学业水平考试实验操作考试试题及评分细则.zip

    陕西省2025年初中学业水平考试实验操作考试试题及评分细则.zip

    Halcon与C#结合的机器视觉开发:经典案例解析与最佳实践

    内容概要:本文详细介绍了如何将Halcon与C#相结合进行机器视觉开发。首先解释了选择Halcon联合C#的原因,强调了两者的互补优势。接着通过多个具体案例展示了如何将Halcon的经典例子转化为C#代码,包括图像读取与显示、阈值分割、形状匹配、图像采集等方面的内容。文中还特别提到了一些常见问题及其解决方案,如内存管理、坐标系转换、线程安全等。此外,作者提供了许多实用技巧,如使用扩展方法处理Halcon的数据类型、封装相机操作类、优化异常处理等。最后,作者分享了一些实战经验,包括环境配置、性能优化、交互设计等方面的建议。 适合人群:具有一定C#编程基础,对机器视觉感兴趣的开发人员。 使用场景及目标:帮助C#开发人员更好地理解和掌握Halcon的使用方法,提高视觉开发效率,减少开发过程中的常见错误和技术难题。 其他说明:文中提供的所有案例代码均已整理在GitHub的HalconSharpToolkit项目中,按功能模块划分,便于学习和参考。

    西门子S7-1200 PLC污水处理系统:博途V17版KTp1200屏程序设计与优化

    内容概要:本文详细介绍了西门子S7-1200 PLC在污水处理项目中的应用,涵盖模拟量处理、设备轮换、Modbus通讯以及事件记录等多个方面。文中展示了如何利用博途V17进行程序设计,包括具体的SCL代码实例,如液位检测的滑动窗口滤波法、提升泵的轮换逻辑、Modbus TCP对变频器的控制以及报警信息管理等。此外,还分享了一些实用技巧,如防止信号跳变、避免设备过度磨损、确保通讯稳定性和提高报警记录效率的方法。 适合人群:从事工业自动化领域的工程师和技术人员,尤其是熟悉西门子PLC和博途软件的从业者。 使用场景及目标:适用于污水处理项目的PLC编程和系统集成,旨在提高系统的稳定性和可靠性,减少维护成本并优化设备性能。 其他说明:文中不仅提供了详细的代码示例,还分享了许多来自实际项目的经验教训,帮助读者更好地理解和应用相关技术。

    MATLAB实现改进带约束粒子群优化算法(IPSO)及其工程应用

    内容概要:本文详细介绍了改进的带约束粒子群算法(IPSO)在MATLAB环境下的实现细节。首先探讨了IPSO算法中接口设计的独特之处,即通过定义目标函数和约束条件的接口,使算法能够灵活应对不同类型的优化问题。接着阐述了非线性惯性权重和学习因子的设计理念,解释了它们如何帮助算法在搜索过程中更好地平衡全局探索和局部开发。最后讨论了基于MATLAB类编程的优势,强调了此类编程方式带来的代码复用性和维护便捷性。此外,文中还提供了丰富的代码片段作为示例,展示了IPSO算法的具体实现步骤。 适合人群:对优化算法感兴趣的科研人员、工程师以及希望深入了解粒子群算法并应用于实际项目的开发者。 使用场景及目标:适用于需要高效解决带有复杂约束条件的优化问题的场合,如工程设计、物流规划等领域。目标是利用IPSO算法更快地找到全局最优解,同时确保满足所有约束条件。 其他说明:文中不仅分享了理论知识,还包括了许多实用的编码技巧,有助于读者快速掌握IPSO算法的应用方法。

    基于分布式ADMM算法与碳排放交易的MATLAB代码:电力系统优化调度

    内容概要:本文介绍了一段基于分布式ADMM算法的MATLAB代码,用于电力系统优化调度,尤其关注碳排放交易的影响。代码首先对电力系统进行分区,接着构建DC-DOPF最优潮流问题,考虑碳排放交易的成本,并利用ADMM算法求解。文中详细解释了各个关键步骤,如系统分区、目标函数设计、碳排放交易成本计算以及ADMM算法的具体实现。此外,代码还包括了多种优化技术和实用技巧,如自适应惩罚因子调整、边界条件处理等,确保算法的有效性和实用性。 适用人群:适用于对电力系统优化调度感兴趣的科研人员、工程师和技术爱好者,尤其是希望深入了解分布式算法和碳排放交易机制的人群。 使用场景及目标:①研究电力系统优化调度的新方法和技术;②探讨碳排放交易对电力系统调度策略的影响;③提高电力系统运行效率和环保性能。 其他说明:代码不仅提供了详细的注释和模块化设计,还展示了丰富的可视化结果,便于理解和进一步研究。同时,文中提到了一些实际应用案例,证明了该方法的有效性和优越性。

    【计算机软考】初级程序员面试题汇总:面向对象特性、Java基础及多线程编程详解了计算机软考

    内容概要:本文档是一份计算机软考初级程序员的经典面试题汇编,涵盖了面向对象编程的四大特征(抽象、继承、封装、多态),并详细探讨了Java编程中的诸多核心概念,如基本数据类型与引用类型的区别、String和StringBuffer的差异、异常处理机制、Servlet的生命周期及其与CGI的区别、集合框架中ArrayList、Vector和LinkedList的特性对比、EJB的实现技术及其不同Bean类型的区别、Collection和Collections的差异、final、finally和finalize的作用、线程同步与异步的区别、抽象类和接口的区别、垃圾回收机制、JSP和Servlet的工作原理及其异同等。此外,还介绍了WebLogic服务器的相关配置、EJB的激活机制、J2EE平台的构成和服务、常见的设计模式(如工厂模式)、Web容器和EJB容器的功能、JNDI、JMS、JTA等J2EE核心技术的概念。 适合人群:正在备考计算机软考初级程序员的考生,或希望加深对Java编程及Web开发理解的初、中级开发人员。 使用场景及目标:①帮助考生系统复习Java编程语言的基础知识和高级特性;②为实际项目开发提供理论指导,提升编程技能;③为面试准备提供参考,帮助求职者更好地应对技术面试。 其他说明:文档不仅涉及Java编程语言的核心知识点,还包括了Web开发、企业级应用开发等方面的技术要点,旨在全面提高读者的专业素养和技术水平。文档内容详实,适合有一定编程基础的学习者深入学习和研究。

    Java常用API详解

    Java常用API详解

    基于python的智能网联车辆和人工驾驶车辆混合行驶异质交通流特性研究+源码(期末大作业)

    基于python的智能网联车辆和人工驾驶车辆混合行驶异质交通流特性研究+源码,适合毕业设计、课程设计、项目开发。项目源码已经过严格测试,可以放心参考并在此基础上延申使用 基于python的智能网联车辆和人工驾驶车辆混合行驶异质交通流特性研究+源码,适合毕业设计、课程设计、项目开发。项目源码已经过严格测试,可以放心参考并在此基础上延申使用~ 基于python的智能网联车辆和人工驾驶车辆混合行驶异质交通流特性研究+源码,适合毕业设计、课程设计、项目开发。项目源码已经过严格测试,可以放心参考并在此基础上延申使用 基于python的智能网联车辆和人工驾驶车辆混合行驶异质交通流特性研究+源码,适合毕业设计、课程设计、项目开发。项目源码已经过严格测试,可以放心参考并在此基础上延申使用 基于python的智能网联车辆和人工驾驶车辆混合行驶异质交通流特性研究+源码,适合毕业设计、课程设计、项目开发。项目源码已经过严格测试,可以放心参考并在此基础上延申使用

    计算机视觉微调 PyTorch 版

    计算机视觉微调 PyTorch 版

    电力系统弱电网下基于谐波状态空间模型的光储-VSG系统稳定性分析与优化控制研究(含详细代码及解释)

    内容概要:本文深入研究了光储系统在弱电网环境下虚拟同步发电机(VSG)的稳定性问题。文章首先介绍了弱电网特性带来的挑战,如频率耦合导致的稳定性复杂化,并提出基于谐波状态空间(HSS)理论的多时间尺度VSG模型。通过构建8阶状态空间模型,作者详细分析了功率环、电压环和电流动态,并利用归一化参数灵敏度分析揭示了关键控制参数(如虚拟惯量J、虚拟阻尼Dp等)对系统稳定性的影响。此外,文中提供了详细的Python代码实现HSS建模、稳定性分析和参数灵敏度分析,最终在Matlab/Simulink平台上验证了模型的精确度。; 适用人群:电气工程领域的研究人员、研究生以及从事新能源发电系统设计和控制的工程师。; 使用场景及目标:①理解弱电网条件下光储-VSG系统的稳定性问题;②掌握基于HSS理论的建模方法;③学会通过特征值分析和参数灵敏度分析优化控制系统参数;④验证所提方法的有效性并应用于实际工程设计。; 其他说明:本文不仅提供了理论分析,还给出了详细的代码实现,便于读者复现实验结果。建议读者在学习过程中结合代码进行实践,并根据具体应用场景调整系统参数。此外,文中提出的模型和方法还可以进一步扩展到其他类型的电力电子系统中。

    MATLAB实现能源集线器参与的电热综合能源市场双层出清模型

    内容概要:本文详细介绍了利用MATLAB和CPLEX求解器实现的电热综合能源市场双层出清模型。该模型分为上下两层,上层旨在最大化能源集线器的收益,下层则致力于最小化电力和热力市场的生产和出清成本。文中不仅提供了详细的代码示例,还解释了各个模块的功能及其背后的理论依据,如MPEC(数学规划与均衡约束)、KKT条件的应用等。此外,文章强调了代码的模块化设计和良好的注释,使得新手能够轻松理解和修改代码。最终,通过与参考文献的对比,证明了模型的有效性和准确性。 适用人群:适用于对综合能源系统优化感兴趣的初学者和有一定经验的研究人员。 使用场景及目标:①帮助研究人员理解电热综合能源市场的运作机制;②为开发更复杂的能源市场模型提供基础;③通过实际案例和数据验证模型的正确性和实用性。 其他说明:文章还提到了一些高级应用和技术细节,如储能参数调整对市场策略的影响、极端天气条件下不同能源设备的表现差异等。

    【自动化控制】霓虹灯广告屏PLC控制系统设计:基于Python模拟的灯管与流水灯控制逻辑实现(含详细代码及解释)

    内容概要:本文详细介绍了霓虹灯广告屏PLC控制系统的完整设计与实现。系统由8根灯管和24只流水灯组成,能够实现灯管顺序点亮/熄灭(正序、反序)和流水灯组间隔点亮并移动的效果。设计涵盖了I/O分配、接线图设计、梯形图编程以及仿真调试。文章还提供了基于Python的代码模拟,通过多线程技术实现了灯管和流水灯的控制逻辑,展示了系统启动、停止、模式设置等功能。此外,文中给出了实际PLC编程的伪代码,强调了梯形图编程的关键步骤。 适合人群:具有一定电气工程或自动化控制基础的技术人员,特别是对PLC编程和霓虹灯控制系统感兴趣的工程师或学生。 使用场景及目标:①了解霓虹灯广告屏PLC控制系统的具体设计与实现;②掌握PLC编程的基本方法,包括梯形图编程和定时器、计数器的应用;③学习如何使用Python模拟PLC控制逻辑,帮助理解和测试控制系统的运行机制。 阅读建议:本文不仅提供了详细的理论设计,还包括具体的代码实现,建议读者在阅读过程中结合代码进行实践,理解每个控制逻辑的具体实现方式,并尝试修改参数或增加新功能来加深理解。

    少儿编程scratch项目源代码文件案例素材-scratch 冲刺.zip

    少儿编程scratch项目源代码文件案例素材-scratch 冲刺.zip

    WebUI可视化:第2章:技术基础准备

    内容概要:本文档主要介绍了WebUI可视化的技术基础准备,涵盖HTML/CSS基础语法、JavaScript核心功能以及前后端交互原理。HTML部分讲解了文档的基本结构和常用标签,CSS部分则阐述了基础语法及其三种应用方式,JavaScript部分着重于基础概念和DOM操作。此外,文档还介绍了Python与前端的交互流程,以Flask框架为例展示了前后端通信的具体实现。最后,通过实操任务和个人简介页面、简单计算器的制作来巩固所学知识,并提供了常见错误排查的方法和学习进度自测题目。 适合人群:对Web开发感兴趣的初学者或有一定编程基础但缺乏Web开发经验的学习者。 使用场景及目标:①帮助读者掌握HTML/CSS/JavaScript的基础知识,能够独立创建简单的Web页面;②理解前后端交互机制,学会使用Flask搭建简单的后端服务并与前端进行数据交互;③通过实操练习提高实际动手能力,解决常见的开发问题。 其他说明:文档不仅提供了理论知识,还包含大量实例代码和实操任务,建议读者跟随文档逐步实践,遇到问题时可以参考常见错误排查部分,确保学习效果。同时,学习进度自测题目可以帮助读者检验自己的掌握程度,以便及时调整学习计划。

    基于Matlab/Simulink的七自由度车辆模型及其主动悬架控制系统的设计与应用

    内容概要:本文详细介绍了如何使用Matlab/Simulink搭建七自由度车辆模型并加入主动悬架控制系统。七自由度车辆模型涵盖了车身在垂直、俯仰、侧倾方向的运动以及四个车轮的垂直运动。文中解释了模型的基础构成、主动悬架的作用机制、参数调整方法以及具体的实现步骤。此外,还提供了关于路面不平度信号生成、模型搭建、参数设置、主动控制算法(如PID和LQR)、仿真运行和结果可视化的具体指导。通过这种方式,研究人员可以更好地理解和优化车辆在复杂路况下的动态响应。 适合人群:汽车工程领域的研究人员和技术人员,特别是那些希望深入了解车辆动力学和主动悬架控制系统的专业人士。 使用场景及目标:适用于车辆动力学研究、新车型研发、底盘控制策略验证等场景。目标是提高车辆行驶的稳定性和乘坐舒适性,同时为车辆设计和性能优化提供支持。 其他说明:文中提到的模型在Matlab 2016a及以上版本中效果最佳,且强调了参数调整和仿真的重要性。通过实际案例展示了如何应对常见的仿真挑战,如代数环问题和数值不稳定情况。

    p117基于python文本药名提取系统.zip

    项目资源包含:可运行源码+sql文件+; python3.8+django+mysql5.7+html+jieba+lxml+selenium 适用人群:学习不同技术领域的小白或进阶学习者;可作为课程设计、大作业、工程实训或初期项目立项。 第一步:创建数据库,数据库名:split_drug 第二步:执行SQL语句,打开split_drug.sql文件,运行该文件中的SQL语句 第三步:源码文件为split_drug.zip,修改源代码中的settings.py文件,改成自己的mysql数据库用户名和密码 第四步:运行命令:python manage.py runserver 第五步:打开浏览器查看http://127.0.0.1:8000

Global site tag (gtag.js) - Google Analytics