- 浏览: 6602 次
- 性别:
- 来自: 杭州
最新评论
文章列表
大型互联网公司在发展过程中,文件系统都经历了从集中式存储到分布式存储的演进过程。
1.集中式存储
早期数据量和访问量较小,可以采用emc等公司的NAS存储,但随着访问量增加,网络的瓶颈,扩容的压力和成本,运维的成本都将很高,这些缺点导致集中式存储已经无法支撑业务的需要。
2.分布式存储
可以通过分布式的方案,灵活的扩充,通过廉价的PC,就可以灵活增加存储,并且因为分布式的特点,硬件扩充的过程,不仅仅是存储的增加,而且网络流量的增加,访问量的增加都是同步解决了。
目前主流的分布式文件系统由hadoop文件系统(hdfs),但hdfs对于小文件的存储浪费空间比较严重。并不适合互联网的文件存储场景(从 ...
近日对hbase进行稳定性测试,因为主机资源有限,所以使用多个虚拟机搭了一个分布式hbase集群,无意中停了一个虚拟机,然后启动hbase发现整个集群无法启动,hmaster报了一个网络异常之后,就直接退出了。
于是开始跟踪hmaster启动部分的源码。
hmaster的大郅步骤:
1.连接zk,创建master node的watcher
2.检查root region是否存在
3.启动对zk root node和meta node的track
4 分配root 到对应的regionServer
5 分配meta 到对应的regionServer
现在就卡在了分配meta 到对应的regionS ...
hadoop fsck /
Minimally replicated blocks: 51224 (100.0 %)
block的replication数目大于等于 "dfs.namenode.replication.min"的block数量
Over-replicated blocks: 0 (0.0 %)
//block的replication数目大于 dfs.replication的block数量
Under-replicated blocks: 0 (0.0 %)
//block的replication数目小于 dfs.replicat ...