Hadoop赢得1TB排序基准评估第一名

强烈祝贺Hadoop赢得1TB排序基准评估第一名。Yadoo的一个集群最近用209秒时间排序1TB的数据 ，比上一年的的纪录保持者保持的297秒 快乐将近90秒。1998年Jim Gray创建了排序基准评估的方法，建立100亿条100个字节的纪录，评估对这100亿条纪录完全排序和把纪录写入磁盘的时间。评估是建立在未发布的版本0.18上的。排序所用的源码在这个地址 。

 

评测集群的配置：

• 910 nodes
• 4 dual core Xeons @ 2.0ghz per a node
• 4 SATA disks per a node
• 8G RAM per a node
• 1 gigabit ethernet on each node
• 40 nodes per a rack
• 8 gigabit ethernet uplinks from each rack to the core
• Red Hat Enterprise Linux Server Release 5.1 (kernel 2.6.18)
• Sun Java JDK 1.6.0_05-b13

大家可能非常想知道如何配置Hadoop集群以提高集群处理效率。过些日子我会和大家探讨如何设置Hadoop的集群问题，包括configuration的配置，集群的监控，集群的资源管理等等，和一些来自Facebook  Dhruba Borthakur 的经验。