`
lancelotwjq
  • 浏览: 54788 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Glusterfs吞吐量性能测试

 
阅读更多

我在这里 介绍了如何用iozone来测试glusterfs性能。


下面贴上测试结果,并做简单分析。


测试环境:

Glusterfs版本 Release3.4

GB级网卡, 即千兆网


测试场景1:


一个节点,使用本地brick,本地挂载测试:


Glusterfs的读写性能和Native的差不多,都在200Mb/s(读) 150Mb/s(写) 。


可见此时Fuse层对性能的影响几乎为0, 另外使用perfermance xlator基本没有提高性能。



测试场景2 :


一个节点, 远端brick:


这时网络成为瓶颈,千兆网的理论极限速度是125Mb/s, 实际scp拷贝文件在50Mb/s左右。


Glusterfs的读写性能在80Mb/s,  writebehind xlator 对写性能的提高显著,约能提高30% (60Mb/s -> 80Mb/s)



测试场景3:


两个节点,两个远端brick组成副本卷X2:


Glusterfs的读性能保持80Mb/s, 写性能变成一半即40Mb/s


这是因为glusterfs读是选中一个读,写是全部写。

 

 

分享到:
评论

相关推荐

    GlusterFS分布式文件系统

    性能测试对比部分并未提供具体数据,但通常包含在对比实验中的是I/O吞吐量、响应时间、并发处理能力等方面。 在容错和数据恢复方面,GlusterFS提供了数据自动修复机制,能够检测数据在副本间的一致性问题并自动修复...

    多节点gluster_NFS安装配置性能对比

    GlusterFS和NFS在性能上的差异主要体现在I/O吞吐量、延迟、扩展性和复杂性等方面。GlusterFS由于其分布式特性,在处理大量小文件时可能表现更优,而NFS则在大文件传输和简单文件操作上可能有更快的速度。扩展性方面...

    glusterfs的那些事-1.1和1.2.11

    GlusterFS能够提供高吞吐量、线性扩展性,随着添加更多节点,存储容量和性能随之增长。此外,由于其分布式特性,数据可以在多个节点上冗余,确保了数据的安全性和可靠性。 了解新工具,特别是分布式系统,常常需要...

    分布式对象存储系统Sheepdog性能测试共4页.pdf.zip

    Sheepdog作为分布式对象存储的一种实现,它在性能测试中展现了其关键特性和效能,这是我们需要关注的重点。 首先,理解分布式对象存储的基本概念至关重要。它与传统的文件系统不同,不依赖于单一的中心节点,而是由...

    swift ceph 性能对比

    通过Cosbench可以设置不同的工作负载,评估系统的I/O吞吐量、响应时间、并发连接数等关键性能指标。 小集群的性能评估研究提供了对Ceph和Swift在实际应用场景下的性能数据,这些数据对于企业或组织在选择存储系统时...

    开源分布式文件系统比较.docx

    然而,在实际性能测试中,GlusterFS可能无法满足所有生产环境的高吞吐量需求。在进行大量读写操作时,其性能可能在5MB/s左右,这可能需要进一步优化配置或者寻找更适合的应用场景。 接下来,Hadoop Distributed ...

    开源分布式文件系统比较.pdf

    尽管安装配置相对简单,但在进行性能测试时,发现其在大文件读写操作中的吞吐量(约5MB/秒)无法满足某些生产需求。深入的性能优化和故障排查可能需要更专业的知识。 3. **MooseFS**: MooseFS也是一个C语言实现的...

    Red_Hat_Gluster_Storage-3.5-Administration_Guide-en-US.pdf

    监控性能指标,如IOPS、吞吐量和延迟,可以帮助确定调优方向。 九、升级与迁移 随着新版本的发布,你可以对GlusterFS进行升级以获取新特性或性能提升。手册会指导你如何平滑地进行版本升级,以及如何迁移数据到新的...

    常用分布式文件系统选型对比

    Hadoop分布式文件系统(HDFS)是一个分布式文件系统,专为高吞吐量和大数据量处理而设计。HDFS架构上将数据分成块进行分布式存储,并在多个节点上创建副本。在命名机制上,HDFS以路径名来标识和访问文件。客户端通过...

    《MinIO技术白皮书》.pdf

    通过积木式扩展,MinIO支持创建多个中小规模的集群,并在需要时通过联盟模式将它们聚合成超大规模的资源池,这种设计可以实现更高的性能、容量和I/O吞吐量。与此同时,它还降低了对空间、冷却和电力资源的需求。 ...

    一种基于RDMA多播机制的分布式持久性内存文件系统.docx

    6. **性能比较**:实验结果显示,MTFS相比于GlusterFS和NOVA在吞吐量和性能上有显著提升,尤其在Redis数据库工作负载下和多线程测试中表现出良好的可扩展性。 综上所述,MTFS是一种创新的分布式文件系统,它融合了...

    一种基于RDMA多播机制的分布式持久性内存文件系统.pdf

    实验结果表明,相比于传统的GlusterFS分布式文件系统,MTFS在多线程工作负载下有显著的性能提升,其吞吐量提高了10.2到219倍。此外,在Redis工作负载下,MTFS的性能相比NOVA系统提高了10.7%,并且在多线程工作负载中...

    分布式存储系统在Linux中的应用.pptx

    1. **高吞吐量与低延迟**:适合视频流传输和多媒体内容的高速存储与访问,确保用户体验。 2. **海量数据存储与快速访问**:能够应对大量视频文件的存储需求,并保持较快的访问速度。 3. **数据分片与缓存机制**:...

    ansible-playbooks.7z

    3. **Kafka 安装**:Kafka 是一种高吞吐量的分布式发布订阅消息系统,广泛应用于大数据处理。`kafka_install` 包含的 playbook 可能包括安装 Kafka 和 ZooKeeper,配置 broker 集群,设置 topic,以及启动和测试 ...

    LINUX企业集群技术.doc

    3. **高容量**:集群可以处理大量工作负载,提高作业吞吐量。 4. **高带宽**:通过优化的网络和存储架构,确保数据传输速度快。 Linux企业集群作为商品集群的一个实例,具备以下关键属性: - **透明性**:用户、...

    饿汉模式在云原生环境中的实践.pptx

    - **提升性能**:预加载的对象减少了每次请求时的初始化开销,有助于提高服务的响应速度和吞吐量,满足高并发需求。 - **对象复用**:在微服务架构中,多个服务可能会共享相同的数据或资源。通过饿汉模式预创建这些...

    Ceph技术架构介绍.docx

    - **高性能**:Ceph通过并行处理和分布式设计实现了高吞吐量和低延迟,能够满足大数据和云计算环境的需求。 - **高可靠性**:Ceph的自我修复能力和数据冗余策略使得它能够承受多个硬件故障,保证数据的安全性。 -...

    基于分布式存储的时序数据分析.pptx

    - 评估不同存储系统的性能指标,包括读写吞吐量、延迟和高可用性等因素。 - 考虑存储系统的扩展性和可靠性,确保它们能够满足未来业务增长的需求以及数据安全的要求。 - **分布式存储系统的性能优化**: - 优化...

    大数据学习路线+知识点大梳理.pdf

    - **高吞吐量**: 适合大量数据的高效访问。 - **大数据量支持**: 可以处理PB级别的数据。 - **基本使用** - **命令行接口**: 提供丰富的命令来操作文件系统。 - **创建/删除目录/文件**: 支持标准的文件操作命令...

Global site tag (gtag.js) - Google Analytics