HDFS quota 設定

nlslzf

浏览: 1058913 次
性别:
来自: 北京

最近访客更多访客>>

wangyy

u012363178

cwfmaker

windows9834

博主相关

博客

微博

相册

留言

关于我

文章分类

社区版块

存档分类

博客分类：

Hadoop生态圈(hadoop/hbase/pig/hive/zookeeper)

在多人共用的狀況下，quota 的設定非常重要。尤其是在 Hadoop 處理大量資料的環境，不小心就容易把所有的空間用完造成別人無法存取

Hadoop quota 的設定是針對目錄，而不是針對帳號。所以在管理上最好讓每個帳號只能寫入某一個目錄(例如 /user/fenriswolf)，然後對各別目錄加上 quota 設定
設定方式有兩種

Name Quotas : 等於 ulimit 裡的 hard limit，也就是設定某個目錄下檔案及目錄的總數
Space Quotas : 設定某個目錄下使用的空間大小

預設是沒有任何 quota 限制的，可以用 hadoop fs -count 來看

1
hadoop fs -count -q /user/fenriswolf

以下是結果，none 及 inf 表示沒有設定

`1`	`QUOTA REMAINING_QUOTA SPACE_QUOTA REMAINING_SPACE_QUOTA DIR_COUNT FILE_COUNT CONTENT_SIZE FILE_NAME`

`2`	`none inf none inf 6 15 2598367 hdfs://localhost:9000/user/fenriswolf`

1. Name Quotas
計算公式為
QUOTA – (DIR_COUNT + FILE_COUNT) = REMAINING_QUOTA

設定方式，這裡的 10000 是指 DIR_COUNT + FILE_COUNT = 10000
最大值為 Long.Max_Value

1
hadoop dfsadmin -setQuota 10000 /user/fenriswolf/

用 hadoop fs -count 來看現在的設定

`1`	`QUOTA REMAINING_QUOTA SPACE_QUOTA REMAINING_SPACE_QUOTA DIR_COUNT FILE_COUNT CONTENT_SIZE FILE_NAME`

`2`	`10000 9000 none inf 60 940 45343100 hdfs://localhost:9000/user/fenriswolf`

如果要寫入的檔案數已經超過設定值會看到下面的錯誤訊息

1
put: org.apache.hadoop.hdfs.protocol.NSQuotaExceededException: The NameSpace quota (directories and files) of directory /user/fenriswolf is exceeded: quota=10000 file count=10001

清除設定

1
hadoop dfsadmin -clrQuota /user/fenriswolf/

2. Space Quotas
計算公式為
SPACE_QUOTA – CONTENT_SIZE = REMAINING_SPACE_QUOTA

設定方式，這裡的 1g 是指 1GB，可用 m, g, t 來代表 MB, GB, TB

1
hadoop dfsadmin -setSpaceQuota 1g /user/fenriswolf/

這裡要特別注意的是，space quota 的設定所看的不是上傳的檔案大小，是寫入 HDFS 的所有 block size
假設一個檔案要寫入 2 個 blocks，在 core-site.xml 裡設定 dfs.block.size 為 64MB，dfs.replication 為 3
那所需要的空間為 2 x 64MB x 3 = 384MB

還有一件另人困擾的地方是，就算只存入一個小檔案，例如 1KB，實際寫入 HDFS 並不會占滿整個 block
但 Hadoop 的 validation rule 仍然是用 1 x 64MB x 3 = 192MB 的方式去做計算

用 hadoop fs -count 來看現在的設定

`1`	`QUOTA REMAINING_QUOTA SPACE_QUOTA REMAINING_SPACE_QUOTA DIR_COUNT FILE_COUNT CONTENT_SIZE FILE_NAME`

`2`	`10000 9000 1073741824 1028398724 60 940 45343100 hdfs://localhost:9000/user/fenriswolf`

如果要寫入的檔案數已經超過設定值會看到下面的錯誤訊息

01
12/03/19 05:44:51 ERROR hdfs.DFSClient: Exception closing file /user/fenriswolf/hive/lib/py/queryplan/ttypes.py : org.apache.hadoop.hdfs.protocol.DSQuotaExceededException: org.apache.hadoop.hdfs.protocol.DSQuotaExceededException: The DiskSpace quota of /user/fenriswolf is exceeded: quota=1073741824 diskspace consumed=1.5g

02
org.apache.hadoop.hdfs.protocol.DSQuotaExceededException: org.apache.hadoop.hdfs.protocol.DSQuotaExceededException: The DiskSpace quota of /user/fenriswolf is exceeded: quota=1073741824 diskspace consumed=1.5g

03

    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)

04

    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:39)

05

    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:27)

06

    at java.lang.reflect.Constructor.newInstance(Constructor.java:513)

07

    at org.apache.hadoop.ipc.RemoteException.instantiateException(RemoteException.java:95)

08

    at org.apache.hadoop.ipc.RemoteException.unwrapRemoteException(RemoteException.java:57)

09

    at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.locateFollowingBlock(DFSClient.java:3558)

10

    at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:3421)

11

    at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$2100(DFSClient.java:2627)

12

    at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:2822)

清除設定

1
hadoop dfsadmin -clrSpaceQuota /user/fenriswolf/

4. 其他
Quota 的設定是跟著目錄走的，目錄如果改名字設定依然會存在
麻煩的是，設定之後如果超過限制，雖然檔案寫不進 HDFS，但是檔案名稱卻已經存在，只是 size 為 0。造成加大 quota 還要先把已存在的檔案砍掉才能再寫入
另外如果設定的 quota 值小於該目錄既存的 Name Quotas 及 Space Quotas 並不會出錯
例如

1
hadoop dfsadmin -setQuota 100 /user/fenriswolf

只是從 hadoop fs -count 會看到 REMAINING_QUOTA 變負值，當然也就無法再寫資料進去

`1`	`QUOTA REMAINING_QUOTA SPACE_QUOTA REMAINING_SPACE_QUOTA DIR_COUNT FILE_COUNT CONTENT_SIZE FILE_NAME`

`2`	`100 -900 1073741824 1028398724 60 940 45343100 hdfs://localhost:9000/user/fenriswolf`

執行環境
CentOS 6.2
JDK 1.6.0_31
Cloudera CDH3U3

參考資料
HDFS Quotas Guide

分享到：

Linux core dump的详细介绍及使用 | 如何让会议更加有效率

2012-08-02 16:22
浏览 5553
评论(0)
分类:开源软件
查看更多

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

Alluxio助力Kubernetes加速云端深度学习.pdf: `alluxio.worker.tieredstore.level0.dirs.quota`则可以设定第一层缓存的大小，比如设置为100GB，来控制每个worker节点的缓存容量。通过Alluxio，Kubernetes集群中的应用如TensorFlow、MXNet或Caffe等可以在不改变...

Tripple Farm:Match 3 Combination Game Complete Project 合成小镇三消Unity合成消除游戏项目游戏插件模版C#: Tripple Farm:Match 3 Combination Game Complete Project 合成小镇三消Unity合成消除游戏项目游戏插件模版C# 支持Unity2020.3.4或更高您知道像三合镇这样的著名益智游戏，并且您想制作一个自己的游戏。就是这样。这个包正好适合您。这是一个完整的项目，您可以在零分钟内将其上传到 appstore 或 googleplay 商店。基本规则： 3个或以上相同的道具可以匹配升级为新的道具。动物如果被困住，也可以合并。羽毛： -移动（android/ios）就绪。 - 包含所有源代码。 -超过 12 座建筑/军团需要升级。 -三种特殊物品可以提供帮助。 - 三个不同的主题（场景和动物） -unity iap 支持 -Unity UI -广告位已准备好 -包含详细文档

【JAVA编程基础】针对新手的JAVA基础测试题：涵盖选择题、简答与编程实践: 内容概要：本文档是一份针对Java初学者的基础测试题，分为不定项选择题、简答题和编程题三大部分。选择题涵盖标识符、数组初始化、面向对象概念、运算符优先级、循环结构、对象行为、变量命名规则、基本

MATLAB机器人运动学、动力学及轨迹规划的建模与仿真: 内容概要：本文详细介绍了如何利用MATLAB进行机器人运动学、动力学以及轨迹规划的建模与仿真。首先，通过具体的代码实例展示了正运动学和逆运动学的实现方法，包括使用DH参数建立机械臂模型、计算末端位姿以及求解关节角度。接着，讨论了雅克比矩阵的应用及其在速度控制中的重要性，并解释了如何检测和处理奇异位形。然后，深入探讨了动力学建模的方法，如使用拉格朗日方程和符号工具箱自动生成动力学方程。此外，还介绍了多种轨迹规划技术，包括抛物线插值和五次多项式插值，确保路径平滑性和可控性。最后，提供了常见仿真问题的解决方案，强调了在实际工程项目中需要注意的关键点。适合人群：对机器人控制感兴趣的初学者、希望深入了解机器人运动学和动力学的学生及研究人员、从事机器人开发的技术人员。使用场景及目标：① 学习如何使用MATLAB进行机器人运动学、动力学建模；② 掌握不同类型的轨迹规划方法及其应用场景；③ 解决仿真过程中遇到的各种问题，提高仿真的稳定性和准确性。其他说明：文中提供的代码片段可以直接用于实验和教学，帮助读者更好地理解和掌握相关概念和技术。同时，针对实际应用中的挑战提出了实用的建议，有助于提升项目的成功率。

基于单片机的无线环境监测-仿真设计(51x2+12864+18B20+HW).#0092: 包括：源程序工程文件、Proteus仿真工程文件、配套技术手册等 1、采用51/52单片机作为主控芯片； 2、发送机：18B20测温、开关模拟灯光，发送数据； 3、接收机：接受数据、12864液晶显示；

微电网优化中风光不确定性的处理：基于机会约束与概率序列的Matlab实现: 内容概要：本文探讨了在微电网优化中如何处理风光能源的不确定性，特别是通过引入机会约束和概率序列的方法。首先介绍了风光能源的随机性和波动性带来的挑战，然后详细解释了机会约束的概念，即在一定概率水平下放松约束条件，从而提高模型灵活性。接着讨论了概率序列的应用，它通过对历史数据分析生成多个可能的风光发电场景及其概率，以此为基础构建优化模型的目标函数和约束条件。文中提供了具体的Matlab代码示例，演示了如何利用CPLEX求解器解决此类优化问题，并强调了参数选择、模型构建、约束添加以及求解过程中应注意的技术细节。此外，还提到了一些实用技巧，如通过调整MIP gap提升求解效率，使用K-means聚类减少场景数量以降低计算复杂度等。适合人群：从事电力系统研究、微电网设计与运营的专业人士，尤其是那些对风光不确定性建模感兴趣的研究者和技术人员。使用场景及目标：适用于需要评估和优化含有大量间歇性可再生能源接入的微电网系统，旨在提高系统的经济性和稳定性，确保在面对风光出力波动时仍能维持正常运作。其他说明：文中提到的方法不仅有助于学术研究，也可应用于实际工程项目中，帮助工程师们制定更为稳健的微电网调度计划。同时，文中提供的代码片段可供读者参考并应用于类似的问题情境中。

linux之用户管理教程.md: linux之用户管理教程.md

基于组态王与S7-200 PLC的六层至八层电梯控制系统设计与实现: 内容概要：本文详细介绍了如何利用组态王和西门子S7-200 PLC构建六层或八层电梯控制系统。首先进行合理的IO地址分配，明确输入输出信号的功能及其对应的物理地址。接着深入解析了PLC源代码的关键部分，涵盖初始化、呼叫处理、电梯运行逻辑和平层处理等方面。此外，提供了组态王源代码用于实现动画仿真，展示了电梯轿厢的画面创建及动画连接方法。最后附上了详细的电气原理图和布局图，帮助理解和实施整个系统架构。适合人群：从事工业自动化控制领域的工程师和技术人员，尤其是对PLC编程和人机界面开发感兴趣的从业者。使用场景及目标：适用于教学培训、工程项目实践以及研究开发等场合。旨在为相关人员提供一个完整的电梯控制系统设计方案，便于他们掌握PLC编程技巧、熟悉组态软件的应用，并能够独立完成类似项目的开发。其他说明：文中不仅包含了理论知识讲解，还分享了许多实际操作经验，如解决编码器丢脉冲的问题、优化平层停车精度的方法等。同时强调了安全性和可靠性方面的考虑，例如设置了多重保护机制以确保系统稳定运行。

基于MTF的1D-2D-CNN-LSTM-Attention时序图像多模态融合的故障识别，适合研究学习（Matlab完整源码和数据）: 在工业生产和设备运行过程中，滚动轴承故障、变压器油气故障等领域的数据分类与故障诊断至关重要。准确的数据分类与故障诊断能够及时发现设备潜在问题，避免故障恶化导致的生产事故与经济损失。LSTM能够捕获时序信息，马尔可夫场（MTF）能够一维信号转换为二维特征图，并结合CNN学习空间特征，MTF-1D-2D-CNN-LSTM-Attention模型通过将一维时序信号和二维图像融合，融合不同模态优势，并引入多头自注意力机制提高泛化能力，为数据分类与故障诊断提供了新的思路。实验结果表明，该模型在分类准确率、鲁棒性和泛化能力方面具有显著优势。多模态融合算法凭借其创新点和实验验证的有效性，在滚动轴承故障、变压器油气故障等领域展现出广阔的应用前景，有望推动相关领域故障诊断技术的进一步发展。关键词：多模态融合；故障诊断；马尔可夫场；卷积神经网络；长短期记忆神经网络适用平台：Matlab2023版本及以上。实验硬件设备配置如下：选用高性能计算机，搭载i7处理器，以确保数据处理和模型训练的高效性；配备16GB的内存，满足大规模数据加载和模型运算过程中的内存需求；使用高性能显卡，提供强大的并行计算能力，加速深度学习模型的训练过程。实验参数的选择依据多方面因素确定。

【面试模拟系统AI提示词】基于简历和岗位要求的个性化模拟面试（deepseek,豆包,kimi,chatGPT,扣子空间,manus,AI训练师）: 内容概要：本文档提供了一个面试模拟的指导框架，旨在为用户提供一个真实的面试体验。文档中的面试官名为Elian，被设定为性格温和冷静且思路清晰的形象，其主要职责是根据用户提供的简历信息和应聘岗位要求，进行一对一的模拟面试。面试官将逐一提出问题，确保每次只提一个问题，并等待候选人的回答结束后再继续下一个问题。面试官需要深入了解应聘岗位的具体要求，包括但不限于业务理解、行业知识、具体技能、专业背景以及项目经历等方面，从而全面评估候选人是否符合岗位需求。此外，文档强调了面试官应在用户主动发起提问后才开始回答，若用户未提供简历，面试官应首先邀请用户提供简历或描述应聘岗位；适用人群：即将参加面试的求职者，特别是希望提前熟悉面试流程、提升面试技巧的人士；使用场景及目标：①帮助求职者熟悉面试流程，提高应对实际面试的信心；②通过模拟面试，让求职者能够更好地展示自己的优势，发现自身不足之处并加以改进；其他说明：此文档为文本格式，用户可以根据文档内容与面试官Elian进行互动，以达到最佳的模拟效果。在整个模拟过程中，用户应尽量真实地回答每一个问题，以便获得最贴近实际情况的反馈。

招聘技巧HR必看如何进行网络招聘和电话邀约.ppt: 招聘技巧HR必看如何进行网络招聘和电话邀约.ppt

三菱PLC与组态王构建3x3书架式堆垛立体库：IO分配、梯形图编程及组态画面设计: 内容概要：本文详细介绍了利用三菱PLC（特别是FX系列）和组态王软件构建3x3书架式堆垛式立体库的方法。首先阐述了IO分配的原则，明确了输入输出信号的功能，如仓位检测、堆垛机运动控制等。接着深入解析了梯形图编程的具体实现，包括基本的左右移动控制、复杂的自动寻址逻辑，以及确保安全性的限位保护措施。还展示了接线图和原理图的作用，强调了正确的电气连接方式。最后讲解了组态王的画面设计技巧，通过图形化界面实现对立体库的操作和监控。适用人群：从事自动化仓储系统设计、安装、调试的技术人员，尤其是熟悉三菱PLC和组态王的工程师。使用场景及目标：适用于需要提高仓库空间利用率的小型仓储环境，旨在帮助技术人员掌握从硬件选型、电路设计到软件编程的全流程技能，最终实现高效稳定的自动化仓储管理。其他说明：文中提供了多个实用的编程技巧和注意事项，如避免常见错误、优化性能参数等，有助于减少实际应用中的故障率并提升系统的可靠性。

COMSOL电弧放电模型：基于磁流体方程的多物理场耦合仿真及其应用: 内容概要：本文详细探讨了利用COMSOL进行电弧放电现象的模拟，重点在于采用磁流体方程(MHD)来耦合电磁、热流体和电路等多个物理场。文中介绍了关键的数学模型如磁流体动力学方程、热传导方程以及电路方程，并讨论了求解过程中遇到的技术难题，包括参数敏感性、求解器选择、网格划分等问题。此外，作者分享了许多实践经验，比如如何处理不同物理场之间的相互作用，怎样避免数值不稳定性和提高计算效率。适用人群：适用于从事电弧放电研究的专业人士，尤其是那些希望通过数值模拟深入了解电弧行为并应用于实际工程项目的人群。使用场景及目标：①帮助研究人员更好地理解和预测电弧放电过程中的各种物理现象；②为工程师提供优化电气设备设计的方法论支持；③指导使用者正确配置COMSOL软件的相关参数以确保高效稳定的仿真结果。其他说明：尽管存在较高的计算复杂度和技术挑战，成功的电弧放电仿真能够显著提升对这一重要物理过程的认识水平，并促进相关领域的技术创新和发展。

基于粒子群优化的KELM算法在多维输入单维输出数据处理中的应用与性能提升: 内容概要：本文详细介绍了如何利用粒子群优化算法（PSO）改进极限学习机（KELM），以提升其在多维输入单维输出数据处理任务中的性能。首先简述了KELM的工作原理及其快速训练的特点，接着深入探讨了PSO算法的机制，包括粒子的速度和位置更新规则。然后展示了如何将PSO应用于优化KELM的关键参数，如输入权值和隐含层偏置，并提供了具体的Python代码实现。通过对模拟数据和实际数据集的实验对比，证明了PSO优化后的KELM在预测精度上有显著提升，尤其是在处理复杂数据时表现出色。适合人群：对机器学习尤其是深度学习有一定了解的研究人员和技术爱好者，以及从事数据分析工作的专业人士。使用场景及目标：适用于需要高效处理多维输入单维输出数据的任务，如时间序列预测、回归分析等。主要目标是通过优化模型参数，提高预测准确性并减少人工调参的时间成本。其他说明：文中不仅给出了详细的理论解释，还附上了完整的代码示例，便于读者理解和实践。此外，还讨论了一些实用技巧，如参数选择、数据预处理等，有助于解决实际应用中的常见问题。

基于粒子群算法的微网优化调度Matlab程序设计与实现: 内容概要：本文介绍了利用粒子群算法（PSO）解决微网优化调度问题的方法。主要内容涵盖微网系统的组成（风力、光伏、储能、燃气轮机、柴油机）、需求响应机制、储能SOC约束处理及粒子群算法的具体实现。文中详细描述了目标函数的设计，包括发电成本、启停成本、需求响应惩罚项和SOC连续性惩罚项的计算方法。同时，阐述了粒子群算法的核心迭代逻辑及其参数调整策略，如惯性权重的线性递减策略。此外，还讨论了代码调试过程中遇到的问题及解决方案，并展示了仿真结果，证明了模型的有效性和优越性。适合人群：从事电力系统优化、智能算法应用的研究人员和技术人员，特别是对微网调度感兴趣的读者。使用场景及目标：适用于研究和开发微网优化调度系统，旨在提高供电稳定性的同时降低成本。具体应用场景包括但不限于分布式能源管理、工业园区能源调度等。目标是通过合理的调度策略，使微网系统在满足需求响应的前提下，实现经济效益最大化。其他说明：本文提供的Matlab程序具有良好的模块化设计，便于扩展和维护。建议读者在理解和掌握基本原理的基础上，结合实际情况进行改进和创新。

【KUKA 机器人资料】：典型机器人案例分析.pdf: KUKA机器人相关资料

基于多智能体的高层建筑分阶段火灾疏散仿真及策略研究.pdf: 基于多智能体的高层建筑分阶段火灾疏散仿真及策略研究.pdf

IR2-Net-ACM资源: Iterative Time Series Imputation by Maintaining Dependency Consistency (ACM TKDD 2024)

电力电子领域带同步整流桥的交错PFC源代码仿真实现及优化: 内容概要：本文详细探讨了带同步整流桥的交错PFC（功率因数校正）电路的设计与仿真实现。交错PFC通过多路PFC电路交错工作，降低了输入电流纹波，提高了功率密度。同步整流桥采用MOSFET代替传统二极管，减少了整流损耗，提升了效率。文中提供了关键代码片段，包括PWM控制、同步整流桥控制逻辑、电流环控制等，并介绍了如何在MATLAB/Simulink中搭建仿真模型，验证设计方案的有效性。此外，还讨论了仿真过程中遇到的问题及其解决方案，如死区时间处理、电流采样精度、负载突变应对等。适合人群：从事电力电子设计的研究人员和技术工程师，尤其是对PFC技术和同步整流感兴趣的从业者。使用场景及目标：适用于研究和开发高效的电源管理系统，旨在提高电能利用率，减少谐波污染，优化电源性能。目标是通过仿真实验验证设计方案的可行性，最终应用于实际硬件开发。其他说明：文章强调了仿真与实际调试的区别，提醒读者在实际应用中需要注意的细节，如电流采样精度、死区时间和负载突变等问题。同时，提供了具体的代码实现和仿真技巧，帮助读者更好地理解和掌握这一复杂的技术。

MATLAB实现冷热电气多能互补微能源网的鲁棒优化调度模型: 内容概要：本文详细探讨了MATLAB环境下冷热电气多能互补微能源网的鲁棒优化调度模型。首先介绍了多能耦合元件（如风电、光伏、P2G、燃气轮机等）的运行特性模型，展示了如何通过MATLAB代码模拟这些元件的实际运行情况。接着阐述了电、热、冷、气四者的稳态能流模型及其相互关系，特别是热电联产过程中能流的转换和流动。然后重点讨论了考虑经济成本和碳排放最优的优化调度模型，利用MATLAB优化工具箱求解多目标优化问题，确保各能源设备在合理范围内运行并保持能流平衡。最后分享了一些实际应用中的经验和技巧，如处理风光出力预测误差、非线性约束、多能流耦合等。适合人群：从事能源系统研究、优化调度、MATLAB编程的专业人士和技术爱好者。使用场景及目标：适用于希望深入了解综合能源系统优化调度的研究人员和工程师。目标是掌握如何在MATLAB中构建和求解复杂的多能互补优化调度模型，提高能源利用效率，降低碳排放。其他说明：文中提供了大量MATLAB代码片段，帮助读者更好地理解和实践所介绍的内容。此外，还提及了一些有趣的发现和挑战，如多能流耦合的复杂性、鲁棒优化的应用等。

最近访客 更多访客>>

博主相关

文章分类

社区版块

存档分类

最新评论