`
hehe3000
  • 浏览: 6602 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
最近访客 更多访客>>
社区版块
存档分类
最新评论
文章列表
大型互联网公司在发展过程中,文件系统都经历了从集中式存储到分布式存储的演进过程。 1.集中式存储 早期数据量和访问量较小,可以采用emc等公司的NAS存储,但随着访问量增加,网络的瓶颈,扩容的压力和成本,运维的成本都将很高,这些缺点导致集中式存储已经无法支撑业务的需要。 2.分布式存储 可以通过分布式的方案,灵活的扩充,通过廉价的PC,就可以灵活增加存储,并且因为分布式的特点,硬件扩充的过程,不仅仅是存储的增加,而且网络流量的增加,访问量的增加都是同步解决了。 目前主流的分布式文件系统由hadoop文件系统(hdfs),但hdfs对于小文件的存储浪费空间比较严重。并不适合互联网的文件存储场景(从 ...
近日对hbase进行稳定性测试,因为主机资源有限,所以使用多个虚拟机搭了一个分布式hbase集群,无意中停了一个虚拟机,然后启动hbase发现整个集群无法启动,hmaster报了一个网络异常之后,就直接退出了。 于是开始跟踪hmaster启动部分的源码。 hmaster的大郅步骤: 1.连接zk,创建master node的watcher 2.检查root region是否存在 3.启动对zk root node和meta node的track 4 分配root 到对应的regionServer 5 分配meta 到对应的regionServer 现在就卡在了分配meta 到对应的regionS ...
hadoop fsck / Minimally replicated blocks:   51224 (100.0 %) block的replication数目大于等于 "dfs.namenode.replication.min"的block数量 Over-replicated blocks:        0 (0.0 %) //block的replication数目大于 dfs.replication的block数量 Under-replicated blocks:       0 (0.0 %) //block的replication数目小于 dfs.replicat ...
Global site tag (gtag.js) - Google Analytics