Hadoop系列之二：三足鼎立

上次说到了Hadoop是目前最流行的大数据工具，其核心是HDFS来存储数据和MapReduce来处理数据，但它又不仅仅如此。后来，围绕着Hadoop相继出现了一系列的应用。比如存储结构化数据的HBase，用于和传统数据实现数据迁移的Spooq，SQL接口Hive，用于工作调度的Ozzie，以脚本取代代码完成MapReduce的Pig，机器学习工具集Mahout等等。羽翼渐丰的Hadoop已经一步步从“工具”发展成为“平台”和“生态系统”。可是，一条技术鸿沟却横在了众多企业面前。一方面，无论是金融还是电信，各个领域的大公司都有海量数据处理的需求。而另一方面，他们的IT部门大都不具备部署、维护大规模Hadoop集群，和开发Hadoop应用的能力。而他们以前倚重的IBM，Oracle也没有这样的能力。

正是看到了这一点，以Hadoop为核心的一些咨询公司相继成立。经过市场洗礼，目前呈现出Cloudera，Hortonworks和MapR三足鼎立之势。三家的产品我都使用过，以后两家为主。下面就分别谈谈各家的优势和劣势。

Cloudera成立于2008年，是三家中成立最早的，目前为止客户资源最多，技术储备时间最长，规模总量最大。背后有Intel做坚强后盾。其产品线以企业级的平台管理和监控著称，其Hadoop用户界面Hue也十分友好。当然，Cloudera的许可证价格不菲，都是按年按机器收钱，这一点和Oracle没什么区别，可能和CEO的Oracle前高管的背景有关。

Hortonworks成立比较晚，是从Yahoo中剥离出去的，也算是嫡系正统。和其他两家最大的不同是，Hortonworks坚持百分百开源的理念，完全只靠咨询服务赚钱。我是开源的拥护者，也十分看好它未来的发展。个人认为Hortonworks的拳头产品是Hadoop自动部署工具Ambrari和资源管理器YARN。其中YARN的意义甚至超过了Hadoop本身，这一点会在以后的文章中讨论。另外，Hortonworks在12月份刚刚IPO，希望充裕的资金有助于加速它对开源项目的贡献。

MapR和原生的Hadoop相距最远。它完全重写了文件系统和HBase实现，从而大幅提高了系统性能。它的读写性能都数倍于原生Hadoop。重新实现同时也简化了Hadoop的安全框架。但问题是和原生的HDFS和HBase不可能完全兼容，使得它在产品配套更新方面总是慢半拍。应用开发者也往往要付出额外的精力去考虑兼容Hadoop。当然，权衡投入产出比，这样的付出也许是值得的。最近MapR刚刚宣布其MapR Database可以免费使用，大概也是看到了自己的优秀产品在接受度上的尴尬。此外，MapR和Google走得很近，也等到了Google风投的资助，其产品通过脚本程序可以很方便地部署到Google计算引擎。很荣幸MapR接受了我对其脚本的小小补充。

大数据市场是一块大蛋糕，三家公司应该会愉快地玩耍一段时间（除非被其他巨头吃掉）。至于长远来看，谁会是最大赢家，以及Hadoop还能火多久，取决于市场，资金和技术等诸多因素的影响。技术层面来看，我们也许可以从近两年的发展略窥端倪，请看下篇“Hadoop之技术未来”。

请看下篇：Hadoop系列之三：技术未来

 

评论

1 楼 hae 2014-12-25  

很荣幸MapR接受了我对其脚本的小小补充