`

分布式文件系统 linux lustre

阅读更多
Lustre名字是由Linux和Clusters演化而来,是为解决海量存储问题而设计的全新文件系统。是下一代的集群文件系统,可支持10,000个节点,PB的存储量,100GB/S的传输速度,完美的安全性和可管理性。
   目前Lustre已经运用在一些领域,例如HP SFS产品等。

   集群存储简介:

   在集群里,一组独立的节点或主机可以象一个系统一样步调一致地工作。整个集群只有唯一的命名空间。厂商们也已经制造了一些软件和硬件设备,它们可以把不相干的文件系统融合成只使用一个命名空间的文件系统。用户可以访问并共享其他用户的数据,而无需考虑是什么介质或其所处的是哪台主机。

  集群存储系统需要解决的最基本的问题:
(1)提供共享访问数据,便于集群应用程序的编写和存储的负载均衡;
(2)提供高性能的存储,在I/O级和数据吞吐率方面能满足成百上千台规模的Linux集群服务器聚合访问的需求

  与分布式文件系统相比:
  数据不需要从一个文件系统拷贝或复制到另一个文件系统,通过集群系统共享应用和数据的任务执行起来要比在单独的设备上执行快得多;
  集群可以为文件和文件系统提供更多的空间;
  因为只需要管理一个文件系统,而不再是每个存储设备或主机都需要一个文件系统,管理也更容易了;如果集群内的某台服务器出现了故障,另一台服务器就可以把它的工作接手过来,故障恢复也成为了现实;
  用户也可以同时对位于其网络上的存储设备里的所有文件进行访问。
分享到:
评论

相关推荐

    2009系统架构师大会PPT:田逸:分布式文件系统moosefs

    - 实施简单:相比于其他复杂的分布式文件系统如Lustre,MooseFS的安装和配置过程更为直观。 - 不停服务扩容:可以在不影响现有服务的情况下进行存储容量的扩展。 - 容易恢复:除了具备高可用性外,手动恢复服务也...

    Lustre文件系统曲折而坚韧的发展史1

    Lustre文件系统,作为一款高性能的并行分布式文件系统,自2005年以来,一直在全球超级计算机排名中占据显著地位,至少占据前十大超级计算机的一半以上。这款文件系统广泛应用于各种大规模集群,其设计初衷是为了解决...

    lustre\lustre1.6使用手册.pdf

    ### Lustre 1.6 分布式文件系统详解 #### 1.1 什么是Lustre? Lustre是一款高性能、高可用性、基于POSIX标准的Linux集群网络文件系统,设计用于处理大规模数据和计算密集型应用。其核心优势在于能够支持大规模网络...

    Linux教程-linux文件系统管理.docx

    15. glusterfs:分布式文件系统,支持高性能和可靠性。 16. Lustre:高性能文件系统,支持高性能和可靠性。 文件系统管理工具包括: 1. mkfs 命令:用于创建文件系统。 2. mkfs.ext4 命令:用于创建 ext4 文件系统...

    lustre(self).pdf

    在搭建Lustre分布式文件系统前,需要对当前环境进行描述,这包括要搭建Lustre系统的服务器硬件要求、网络配置以及操作系统的基本信息等。通常,Lustre要求在一个稳定的网络环境中部署,操作系统一般建议为Linux发行...

    lustre2.1.0源代码

    《Lustre 2.1.0:分布式对象存储文件系统的源代码剖析》 Lustre,一个在高性能计算和存储...通过对这些源文件的深入研究,我们可以学习到分布式文件系统的设计原则,以及如何利用开源社区的力量来推动技术创新和维护。

    FastDFS和Linux下安装使用FastDFS

    常见的开源分布式文件系统包括 mogileFS、fastDFS、mooseFS、glusterFS、ceph 和 lustre 等。 - **mogileFS**:Key-Value 型元文件系统,不支持 FUSE,主要用于 web 领域处理海量小图片,相比 mooseFS 效率更高。 -...

    lustre安装配置部署

    Lustre是一款高性能的分布式文件系统,主要用于大规模计算环境中,如超级计算机、科学计算、数据中心等场景,它能够提供高性能的数据访问能力,同时具备良好的可扩展性。Lustre通过分离元数据处理和数据处理的架构...

    用户态文件系统fuse概念学习.docx

    2. GlusterFS:一个分布式文件系统,适合大规模集群环境,可扩展至PB级别。 3. SSHFS:通过SSH协议提供对远程文件系统的透明访问。 4. GmailFS:允许用户将Gmail邮箱作为本地文件系统来浏览和管理邮件。 5. EncFS:...

    Lustre_1.8_官方手册(英文)

    #### 一、Lustre 文件系统简介 **Lustre** 是一个高度可扩展的并行文件系统,主要用于高性能计算 (HPC) 和大规模数据存储场景。Lustre 1.8 版本的官方手册提供了详细的文档来介绍其架构、安装、配置以及使用方法等...

    lustre_import.rar_V2

    在Linux操作系统的世界里,lustre是一个高性能、可扩展的文件系统,尤其适合大规模的并行计算环境。本文将深入探讨lustre_export机制,这是在Linux V2.13.6版本中用于导出 Lustre 文件系统的功能。通过理解这一机制...

    lustre2.3.49.54源码

    此外,源码包通常还包含了构建指南和相关文档,帮助用户理解和构建Lustre系统。 为了充分利用Lustre 2.3.49.54,你需要具备一定的Linux操作系统知识、C编程技能以及对分布式系统和网络的理解。同时,熟悉Lustre的...

    基于Linux的集群存储系统.pdf

    Linux集群系统通常包括诸如Heartbeat的心跳检测机制、GFS (Global File System) 或 Lustre等分布式文件系统,以及如DRBD (Distributed Replicated Block Device) 的数据复制技术,它们共同保证了数据的安全性和一致...

    lustre集群资料

    Lustre是一个高性能的集群文件系统,源自Linux和Clusters的概念,设计用于处理大规模的存储需求。它可以支持上万个节点和PB级别的存储容量,提供高达100GB/s的数据传输速度,具备出色的安全性和管理性。Lustre已被...

    lustre_errno.rar_V2

    当我们谈论“lustre_errno.rar_V2”时,这是一个与Lustre文件系统相关的错误码压缩包,其中包含了对Lustre在Linux v2.13.6版本中遇到特定问题的深入解析。Lustre文件系统是一种高性能并行文件系统,广泛应用于大规模...

    lustre_kvm_quickstart:Lustre KVM快速入门指南的支持脚本,网址为http

    Lustre KVM快速入门指南是一个面向IT专业人士的教程,主要关注如何在KVM(Kernel-based Virtual Machine)环境中部署和管理Lustre分布式文件系统。Lustre是高性能计算领域广泛应用的一种并行文件系统,它提供了高...

    Linux集群系统关键技术研究.pdf

    例如,全局文件系统(GFS)和分布式文件系统(NFS)允许多个节点并发访问同一文件,确保数据的一致性并优化I/O性能。此外,如GFS2、XFS和 Lustre等专为集群设计的文件系统,能提供更高级别的扩展性和性能。 4. **通信...

    linux-debug.rar_Once

    标题中的"linux-debug.rar_Once"暗示我们关注的是与Linux内核调试相关的特定功能,特别是与"Lustre log"(一种分布式文件系统的日志)和"once"机制有关的内容。描述提到的"Upcall function once a Lustre log has ...

Global site tag (gtag.js) - Google Analytics