文章列表
Linux系统优化指标:cpu,内存,io,网络
CPU:
lscpu 查看cpu配置
top 负载(average)
内存:
free -m 查看内存使用情况
vmstat 查看虚拟内存,主要看si,so信息
IO:
df -h 查看磁盘占用情况
iostat -dx 查看磁盘IO使用情况
iotop 查看IO任务
(SATA 130M/s 便宜,寿命1年, SAS 180M/s,较贵,寿命3年左右)
网络:
ifstat 查看网络使用情况
ethtool 【网卡名】 查看网卡信息(如带宽等)
iftop 查看网络任务信息
与普通HDFS对比,冷数据集群目的是不降低数据可靠性的前提下,减少磁盘开销。
经过facebook-hadoop版本和apache-hadoop(0.20至0.23)版本的比较,最后选型为facebook-hadoop版本。原因是apache-hadoop版本有许多缺陷,比如raidnode客户端没有实现placementmonitor,raidshell终端命令少的不忍直视(以后不好运维),bug太多等等。还有一个重要的原因考虑到facebook-hadoop版本facebook已经在成熟的运用之中。
有关radi技术可参考以下两篇文章:
http://jiangbo.me/blog ...