Yahoo! 的数据仓库:世界上最大最忙- by Fenng

3顶
0踩

2008-05-27 14:42 by 资深记者 galaxystar 评论(3) 有3300人浏览

Yahoo

微软对 Yahoo! 的收购持久战可能让很多人都新闻疲劳了。但今天看到的这个关于 Yahoo！的技术新闻还是值得看一下的：Size matters: Yahoo claims 2-petabyte database is world's biggest, busiest 。Yahoo! 的 VP Waqar Hasan 在文中披露 Yahoo！的数据仓库当前容量为 2PB。用于分析每月5亿的用户访问行为，每天处理 240 亿次的事件，号称世界上单个最大、最忙的数据库。

尽管有的数据仓库容量要比雅虎的大。但那些 DB 或是存储非关系性数据,或是存储的压缩后的原始数据,不能进行即时分析,雅虎之前的也有数百 T 这样的数据。眼下 Yahoo!数据仓库存储的是结构化、可分析的数据。预计下一年可能膨胀到数十 PB 。eBay 号称数据总量有 6PB ,不过根据一些消息来看,单个最大的 DB 只有 1.4 PB。

Yahoo! 在 2005 年买了一家叫 Mahat Technologies 的初创公司(就是 Waqar Hasan 操刀的),这家公司以 PostgreSQL 数据库为基础,开发了一个新型 DB,其特点是基于列的而不是基于行的模式。不难理解,这样数据写入的速度会慢下来,但是读取的速度会快很多【去年的侠客行上,雷鸣在演讲的时候讲过他在百度的时候做的一个优化的例子。和这个思想非常相似,所以当时我说对我"有启发"】。Yahoo! 买了之后,对该产品进行了持续性的改进(内部代号: ELCARO ?) ,比如压缩,并行处理能力加强、优化查询等等特性的添加改进。而针对使用者的接口仍是 PostgreSQL 。这应该也算 PostgreSQL 在顶级企业又一个成功案例。

这么大的数据库并没有采用传统的 SMP 架构构建,而是采用普通 PC 作集群(用了不到 1000 台) 。很明显这是 Share Nothing 而不是 Share Storage 的 DB 集群。通过上述独特的设计方式,能够对此海量数据进行有效的分析,这是个不小的技术革新,也是与 Google Map Reduce 完全不同的计算模式。

让人感慨的是关于世界上的超大数据库一文中罗列的数据,现在看起来已经并不惊人了。以前总说信息爆炸,这个时代刚刚来临。

来自: dbanotes

分享到：

3
顶

0
踩

评论共 3 条请登录后发表评论

3 楼 sunyujing 2009-07-01 20:55

是的，不用这个teradata，自己实现分布式数据库集群

2 楼 sunyujing 2009-07-01 10:31

   上面的文章的核心我想应该是向我们展示了分布式数据库是怎么一回事，其实思路上说说很容易，当数据库很大，并发也很大的时候，我们靠单个的大型服务器来支持，尽管服务器很强悍了，但是对一个大的数据库的操作不论是写入还是查询肯定要慢，所以大家就想着应该将数据分开。不论是数据库厂商还是其他的集群厂商，大家的做法又略有不同。
    我个人觉得，我们国人不应该只停留在，看国外Yahoo、google、msn、myspace等等这些数据库如何实现分布式，如何用成千上万台PC机做成一个大集群。这些可以说和我们关系不是非常大，大家也只能是看看，也用不上，永远只能是个想法，或更多的是故事。
    在国内我觉得更多的去探讨或者研究一些对于我们来说可以实际使用的技术，这些才是真正能过帮助大家解决系统中遇到的问题。我把我看到的一些产品和技术拿出来和大家分享。这个技术是在现有的商用数据库上开发的，SQL Server，MySQL 等；基本结构是两层访问层和数据层，
访问层：访问层数据库只有原来数据库的结构没有数据，处理提交上来的SQL语句并调度执行。用户和业务程序面对的是访问层数据库。
数据层：数据是在数据层进行分区，每个分区又可以有多个冗余。可以有多个冗余对查询进行负载均衡，以提高整个系统的性能。
这样的结构，对外来说，就和使用一个数据库一样，只暴露出一个IP。内部来说是由多台服务器组成的。

其实这样的思路我们好多技术人员也自己也知道，甚至好多公司的技术人员也在业务上分割，自己来开发这样的系统，这个又可能回到一个国内流传的故事，说青岛啤酒前两年传出来快不行了，后来调查发现，他们都自己研究酒瓶就盖子，在社会化大分工的现在，还要这么做，我估计得类似人的，我觉得更多时候要去整合，专业的技术要交给专业的技术公司来研究。
这个产品是我见到的分布式数据库产品一级的应该是比较接近用户了。更多过于数据库集群、分布式数据库的介绍，可以到官方网站去看http://www.grqsh.com/soft_03.asp

1 楼 eyejava 2008-05-27 16:11

不用teradata？

发表评论

您还没有登录,请您登录后再发表评论

3顶0踩