资讯频道 → 开源软件
阅读更多

4顶
0踩

开源软件

原创新闻 Hadoop 2.1.0 beta 版发布，HDFS SnapShot 特性一览

2013-08-28 09:41 by 见习记者 jackchan 评论(9) 有10602人浏览
Hadoop 2.0 hadoop HDFS 大数据

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！




Hadoop 2.1.0 Beta 版 HDFS 提供了SnapShot 模块。用于数据备份、回滚，以防止因用户的失误操作导致集群出现问题。本文先做一个简单的介绍，其他的文章在来介绍Snapshot 本身的实现机制。

HDFS Snapshot有以下几个特性：

  • Snapshot 创建的时间 复杂度为O(1)，但是不包括INode 的寻找时间
  • 只有当修改SnapShot时，才会有额外的内存占用，内存使用量为O(M),M 为修改的文件或者目录数
  • 在datanode 上面的blocks 不会复制，做Snapshot 的文件是纪录了block的信息
  • Snapshot 并不会影响HDFS 的正常操作
产生了以下新的概念：

  • Snapshot table：Snapshots 会存储在snapshottable的目录下。snapshottable下存储的snapshots 最多为65535个
  • Snapshot 路径：举例，假设/foo  是snapshottable，/foo/bar 是文件目录,/foo 拥有一个s0的snapshot，那么路径会是 /foo/.snapshot/s0/bar，我们可以通过
    •       hdfs dfs -ls /foo/.snapshot
          hdfs dfs -ls /foo/.snapshot/s0
          hdfs dfs -cp /foo/.snapshot/s0/bar /tmp

    来操作与查看副本文件。

Snapshot 基本操作：

  • 对一个路径开启Snapshot： hdfs dfsadmin -allowSnapshot <path>
  • 关闭 Snapsshots： hdfs dfsadmin -disallowSnapshot <path>
  • 创建Snapshosts：hdfs dfs -createSnapsshot <path> [snapshot names]
  • 删除Snapshots：hdfs dfs -deleteSnaphost <path> <snapshotName>
  • 修改Snapshots的名字：hdfs dfs -renameSnapshot <path>  <oldname> <newname>
  • 获取Snapshot 列表：hdfs lsSnapshottableDir
  • 获取两个Snapshot的不同：hdfs snapsshotDiff <path> <fromSnapshot> <toSnapshot>
资料来源：hadoop.apache.org
  • 大小: 9.2 KB
4
顶
0
踩
评论 共 9 条 请登录后发表评论
9 楼 niko7 2013-09-04 14:49
有机会要好好看看啊。这个东西在家里也搞不出名堂吧，得大数据，得多台机器才行。
8 楼 yj8714 2013-08-29 15:53
yj8714 写道
yj8714 写道
385104182 写道
hadoop太活跃了，厉害

确实很活跃啊。。。

希望有空了。。好好研究研究

希望好好看看
7 楼 yj8714 2013-08-29 15:53
yj8714 写道
385104182 写道
hadoop太活跃了，厉害

确实很活跃啊。。。

希望有空了。。好好研究研究
6 楼 yj8714 2013-08-29 15:52
385104182 写道
hadoop太活跃了，厉害

确实很活跃啊。。。
5 楼 sgq0085 2013-08-29 13:05
翻译的真搞笑 快照Snapshot是一个单词 又不是两个单词的集合
4 楼 liuwei0376 2013-08-29 10:31
新版本意味着不太稳定啊，可以在家尝尝鲜，公司里不敢用。
3 楼 freezingsky 2013-08-28 20:53
没机会接触，很遗憾啊。。。
2 楼 385104182 2013-08-28 13:19
hadoop太活跃了，厉害
1 楼 yunzhu 2013-08-28 11:45
这个好


发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • hadoop hdfs 备份快照

    snapshot为hadoop2.1.0时新增加的功能。 主要为防止用户误删数据，和数据备份的作用 快照的对象为HDFS目录，前提是该目录是可以允许设置快照的（SnapShotable）

  • Hadoop 2.1.0 beta HDFS SnapShot 介绍

     Hadoop 2.1.0 Beta 版 HDFS 提供了SnapShot 模块。用于数据备份、回滚。已防止因用户的失误操作导致集群出现问题。本文先做一个简单的介绍，其他的文章在来介绍Snapshot 本身的实现机制。    首先    HDFS...

  • HDFS snapshot操作实战

    Hadoop从2.1.0版开始提供了HDFS SnapShot的功能。一个snapshot(快照)是一个全部文件系统、或者某个目录在某一时刻的镜像。快照在下面场景下是非常有用： 防止用户的错误操作：管理员可以通过以滚动的方式周期性设置...

  • 2.2.12 hadoop体系之离线计算-mapreduce分布式计算-hadoop常见问题总结（hdfs+yarn+mapreduce）

    目录 ...5. 请列出正常工作的Hadoop集群中Hadoop都分别需要启动哪些进程，它们的作用分别是什么？ 6. 简述Hadoop的几个默认端口以及含义 7. 文件大小默认为64MB，改为128MB有啥影响？ 8. 简述Sec

  • Flink1.13集成Hadoop3.x以上版本

    org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Could not find a file system implementation for scheme 'hdfs'. The scheme is not directly supported by Flink and no Hadoop file system to...

  • Hadoop之HDFS面试题整理

    1.2HDFS（☆☆☆）1.2.1 HDFS 中的 block 默认保存几份？（A）A.3 份B.2 份C.1 份D.不确定1.2.2HDFS 默认 BlockSize 是（C）A.32MBB.64MB（2.7.2版本，本地模式）C.128MB（2.7.2版本，分布式模式）1.2.3 Client 端...

  • hdfs snapshot 快照的使用场景应用与操作命令的介绍

    Hadoop从2.1.0版开始提供了HDFS SnapShot的功能。 一个snapshot(快照)是一个全部文件系统、或者某个目录在某一时刻的镜像。快照在下面场景下是非常有用： 二：场景 防止用户的错误操作： 管理员可以通过以滚动的方式...

  • Centos7 搭建Hadoop3.0.3 +Zookeeper3.4.12+HBase2.1.0

    Hadoop3.0.3 Zookeeper3.4.12 HBase2.1.0 服务器资源 IP地址 hostname 是否NameNode 是否DataNode 192.168.60.204 master 是 否 192.168.60.205 node1 否 是 1、Ce...

  • 【大数据开发运维解决方案】Hadoop2.7.6+Spark2.4.4+Scala2.11.12+Hudi0.5.2单机伪分布式安装

    [root@hadoop scala-2.11.12]# cd /hadoop/ [root@hadoop hadoop]# mkdir spark [root@hadoop hadoop]# cd spark/ 通过xftp上传安装包到spark目录 [root@hadoop spark]# tar -zxvf spark-2.4.4-bin-hadoop2.7.tgz ...

  • day36~37_HDFS分布式文件存储系统

    HDFS分布式文件存储系统 一、HDFS概述 （一）HDFS产生背景 随着数据量越来越大，在一个文件系统下无法存储海量数据，普通硬件支持的...Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardwa

  • scala版本,spark将HDFS上的数据同步到hbase

    1 spark将HDFS上的数据同步到hbase 将hdfs数据转换为hfile, 快速导入hbase 2 pom.xml &lt;?xml version="1.0" encoding="UTF-8"?&gt; &lt;project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi=...

  • Hadoop生态从0到1_理论篇_[HDFS|Yarn|MapReduce|Hive]_CodingPark编程公园

    文章介绍： 本文将带领你进入Hadoop的生态世界，本文为Hadoop生态从0到1_理论篇

  • HDFS面试题 1 阿善有用

    1.2HDFS(☆☆☆) 1.2.1 HDFS 中的 block 默认保存几份？(A) A.3 份 B.2 份 C.1 份 D.不确定 1.2.2HDFS默认BlockSize是(C) A.32MB B.64MB(2.7.2版本，本地模式) C.128MB(2.7.2版本，分布式模式) 1.2.3 Client 端上传...

  • hbase安装配置（整合到hadoop） .

    [-] 快速单击安装 下载解压最新版本 启动 HBaseHbase Shell 练习停止 HBaseHbase集群安装前注意分布式...替换hadoop的jar包 运行和确认安装当Hbase托管ZooKeeper的时候独立的zookeeper启动测试安装中出现的问

  • HDFS NameNode重启优化

    在Hadoop集群整个生命周期里，由于调整参数、Patch、升级等多种场景需要频繁操作NameNode重启，不论采用何种架构，重启期间集群整体存在可用性和可靠性的风险，所以优化NameNode重启非常关键。 本文基于Hadoop-2....

  • FLAC3D隧道台阶法施工模拟：命令操作与支护结构一体化构建

    内容概要：本文详细介绍了利用FLAC3D进行隧道台阶法施工模拟的方法和技术细节。首先解释了隧道台阶法施工的基本流程，重点在于开挖命令的应用，如'zone cmodel assign'和'zone remove'用于改变区域本构模型并执行开挖操作。接着阐述了支护结构的设置方法，包括超前加固体、初衬、二衬、锚杆和锁脚锚杆的具体配置方式。此外，还讲解了如何通过'mesh'命令直接在FLAC3D中生成符合实际工程需求的网格模型。最后展示了模拟后的围岩体位移云图和应力云图，验证了计算结果的有效性，强调了这些数据对优化施工方案的重要性。 适合人群：从事岩土工程、隧道工程及相关领域的工程师和技术人员。 使用场景及目标：适用于需要进行隧道施工模拟的专业人士，旨在提升他们对FLAC3D的理解和应用能力，确保隧道施工的安全性和高效性。 其他说明：文中提供的实例和命令操作均基于真实项目经验，有助于读者更好地理解和掌握FLAC3D的实际应用技巧。

  • 纤维骨料细观尺度混凝土模型：基于多有限元软件的网格划分与应用

    内容概要：本文介绍了纤维骨料细观尺度混凝土模型的设计与应用，重点在于如何通过控制骨料尺寸和体积率，在不同有限元软件（如Abaqus、Ansys、Ls-Dyna、Flac3d）中进行有效的四面体网格划分和六面体网格投影。文中提供了生成随机骨料位置和直径的Python代码片段，并详细解释了网格划分过程中需要注意的技术细节，如碰撞检测、网格转换公式以及材料属性设置。此外，还讨论了模型验证的方法及其在实际工程项目中的应用价值。 适合人群：从事土木工程、材料科学领域的研究人员和技术人员，尤其是那些需要利用有限元方法进行混凝土结构分析的专业人士。 使用场景及目标：①帮助工程师更好地理解和预测纤维混凝土的行为特性；②为实际工程项目提供理论支持和技术指导，从而优化纤维混凝土的应用；③提高仿真精度，减少实验成本和时间。 其他说明：文中提到的一些具体操作步骤和技术细节对于初学者来说可能具有一定挑战性，建议读者在实践中逐步掌握相关技能并积累经验。同时，正确设置物理量单位非常重要，错误的单位可能导致计算结果严重偏离预期。

  • 嵌入式八股文面试题库资料知识宝典-c++个人笔记总结.zip

    嵌入式八股文面试题库资料知识宝典-c++个人笔记总结.zip

  • 工业自动化领域西门子S7-1200 PLC模块、板卡及多协议通讯详解

    内容概要：本文详细介绍了西门子S7-1200 PLC在工业自动化领域的应用，重点讲解了其模块、板卡和通讯方式。首先概述了PLC模块和板卡作为基本单元的作用，接着深入探讨了支持的多种通讯协议，包括Modbus-RTU、S7通讯、Modbus-TCP和TCP/IP等。每种协议都配有具体的代码分析和调试方法。最后，介绍了博途V16编程软件的使用体验，强调了其对S7-1200 PLC编程的支持。 适合人群：从事工业自动化领域的工程师和技术人员，尤其是对西门子S7-1200 PLC有初步了解或希望深入了解的人群。 使用场景及目标：适用于需要掌握PLC模块化设计、不同通讯协议的应用场景，旨在帮助读者理解PLC的工作原理，提高编程和调试能力，从而更好地应用于实际项目中。 其他说明：文中提供的实例和代码分析有助于读者快速上手，同时推荐使用博途V16及以上版本的编程软件进行实践操作。

  • Comsol仿真无模型等离子体空气反应框架：多气体反应及关键参数求解

    内容概要：本文介绍了Comsol仿真软件在等离子体空气反应领域的应用，重点探讨了其无模型反应框架的功能。该框架能模拟超过40种气体（如氧气、氮气、氦气）的详细反应过程，提供碰撞截面数据、迁移率扩散系数、速率系数和汤森系数的查询与求解功能，并通过bosig+模块实现自定义反应路径的选择。此外，文中强调了代码分析与实践应用的重要性，以及这些功能如何提升等离子体反应研究的效率和准确性。 适合人群：从事等离子体物理、化学反应动力学及相关领域研究的专业人士和技术人员。 使用场景及目标：适用于需要精确模拟复杂等离子体环境中气体反应的研究项目，旨在提高对等离子体反应机制的理解，优化实验设计，预测反应行为。 其他说明：Comsol仿真软件凭借其强大的计算能力，在等离子体研究中扮演着重要角色。随着技术的发展，该框架有望进一步推动相关领域的创新和发展。

Global site tag (gtag.js) - Google Analytics