`
younglibin
  • 浏览: 1214318 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

HDFS的优缺点

    博客分类:
  • hdfs
 
阅读更多

1.0 版本:

 

HDFS 优点:

1.处理超大数据

2.流式处理

3.可以运行在廉价的商用服务器上

 

HDFS 缺点:

1.不适合低延迟数据访问(HBase 可以解决,HBase的口号是  goes  real  time(即时得到))

2.不适合存储大量小文件数据

3.不支持多用户同时操作同一个文件

 

 

参考:

http://www.cnblogs.com/xia520pi/archive/2012/05/28/2520813.html

分享到:
评论

相关推荐

    hdfs优缺点

    ### HDFS的缺点 #### 不适合小文件存储 1. **元数据开销问题**:对于大量的小文件,它们会占用NameNode大量的内存空间用于存储元数据信息,这会导致性能下降。例如,如果有一个1GB的文件被分成许多100KB的小文件,...

    大数据技术之Hadoop(HDFS).docx

    大数据技术之Hadoop(HDFS) Hadoop是Apache开源组织中的一個大数据处理项目,HDFS(Hadoop Distributed File System)是Hadoop项目中的分布式文件系统...HDFS的组成架构、优缺点、文件块大小等都是HDFS的重要知识点。

    HDFS的ssh操作.docx

    **1.2 HDFS优缺点** - **优点**: - 高容错性:HDFS通过在多个DataNode上复制数据块的方式保证数据的可靠性和可用性。 - 可扩展性强:可以轻松地添加更多的DataNode来扩大存储容量。 - 大数据支持:特别适合存储...

    02-Hadoop-HDFS.docx

    **1.2 HDFS优缺点** - **优点** - 高容错性:通过数据复制机制来保证数据的可靠性。 - 高吞吐量:适合大数据的批量处理。 - 易于扩展:支持线性扩展,可以轻松添加更多的节点。 - 简单模型:使用主从架构,简化...

    Hadoop-HDFS.docx

    **1.2 HDFS优缺点** 优点: 1) 高容错性:HDFS通过数据冗余备份实现容错,当某个副本丢失时,系统可以自动恢复。 2) 处理大数据的能力:能处理GB、TB乃至PB级别的数据,以及百万数量级以上的文件。 3) 可靠性与成本...

    尚硅谷大数据技术之Hadoop(HDFS)1

    2. **HDFS优缺点** - **优点** - **高容错性**:通过数据副本机制,自动保存多个副本,当某个副本丢失时可以自动恢复。 - **处理大数据能力**:能处理GB、TB乃至PB级别的大文件和百万数量级以上的文件。 - **...

    HDFS原理图

    此图包含内容:HDFS结构/HDFS运行机制、HDFS优缺点、HDFS架构、HDFS数据存储单元(block)、HDFS设计思想、SNN合并流程、Block的副本放置策略、HDFS读流程、HDFS写流程、HDFS文件权限与安全模式,需要使用viso工具打开...

    Hadoop的学习(入门).docx

    2. **HDFS优缺点** 优点包括:高容错性、可扩展性、高吞吐量的数据访问以及对大规模数据的处理能力。缺点则包括:低延迟数据访问不理想、不支持大量的小文件存储,以及对数据更新操作效率较低。 3. **HDFS组成架构...

    【1】HDFS概述

    2. HDFS优缺点 (1)优点: - 高容错性:通过数据冗余,确保即使部分节点故障,数据也能被恢复。 - 扩展性强:可以轻松添加更多硬件资源来扩大存储和处理能力。 - 高性能:适合大规模并行处理,适合大数据的批量...

    公需科目-大数据前沿技术及应用-考试与答案(全).docx

    21. HDFS优缺点:HDFS(Hadoop Distributed File System)适合大数据处理,有高容错性,但不擅长低延迟数据访问和小文件存取。 22. 服务器虚拟化技术:包括x86服务器虚拟化、小型机分区技术、VDI技术,但虚拟SAN...

    星环大数据平台HDFS

    星环大数据平台HDFS的优缺点都非常明显。它的优点包括高容错性、高可用性、能够横向线性扩展、适合存储海量数据集,构建成本低且运行稳定。HDFS非常适用于大规模的离线批处理作业,支持大量数据的流式访问。然而,...

    Hadoop技术-HDFS简介.pptx

    "Hadoop技术-HDFS简介" Hadoop技术是当前大数据处理的主要解决方案之一,而HDFS(Hadoop Distributed File System)是Hadoop技术的核心组件之...了解HDFS的优缺点和设计目标对于使用HDFS进行大数据处理具有重要意义。

    基于HDFS的区域医学影像分布式存储架构设计.pdf

    3. HDFS分布式存储系统的优缺点: HDFS是一个高度容错性的系统,适合在廉价硬件上运行,并能提供高吞吐量的数据访问,非常适合用来存储大量数据。但HDFS的缺点在于它对小文件的支持不佳,以及元数据管理上的局限性。...

    百度地图毕业设计源码-MapReduce:初学MR的一些实践

    HDFS优缺点 2.1 优点 2.1.1 高容错 (1)数据自动保存多个副本。它通过增加副本的形式,提高容错性。 (2)某一个副本丢失以后,它可以自动恢复。 2.1.2 适合处理大数据 (1)数据规模:能够处理数据规模达到GB、TB...

    文件服务器方案优缺点比较

    e) GFS, HDFS, ClusterFS, Lustre:成熟稳定,处理大文件出色,但部署复杂,不适合小文件存储。 f) Ceph:PB级别的分布式文件系统,但稳定性不足,适合小文件存储。 g) GridFS:基于MongoDB,具有其所有优点,但...

    7-0大数据技术之Hadoop(HDFS)

    2. **HDFS的优缺点** - **优点** - **高容错性**:通过自动保存多个副本,当某个副本丢失时可以自动恢复,增强了系统的稳定性。 - **处理大数据能力**:HDFS可以处理GB、TB乃至PB级别的大数据,且能处理百万数量...

Global site tag (gtag.js) - Google Analytics