大数据学习笔记18：hdfs--解决大数据存储

hdfs--解决大数据存储

 

1、hdfs 之前解决大数据存储 可以使用 NFS

 

     

 

 

 

            1.1   Network File System  网络文件系统

   

             1.2  NFS问题1  ：大文件集中存储，并发访问单节点 压力大

 

             1.3 NFS问题2   ： 有单点故障问题 ，需要别的方式提供高可用处理

 

 

 

 2、HDFS 的方案

 

 

   2.1   文件划分为block  分散存储到多个节点上--  读大文件时可以从分散的多个节点上读取 减轻单节点压力

 

  2.2   一个block存储多个备份---提高文件高可用性  即使某个节点挂掉只要还有一个节点上有可用的 备份

          整个文件扔可用。

 

  2.3   namenode： 就像一个总目录 记录各个文件的详细的分布情况。

 

  2.4   datanode ：  数据节点 实际存放文件数据的地方 。