中国门户网站架构分析 - zt

首先声明，下面的内容都是我个人根据一些工具形成的猜想。并不保证和现实中各大门户网站所用的架构一摸一样，不过我认为八九不离十了。

网易、新浪和搜狐在国内的知名 度可谓无人不知无人不晓。他们每天的点击率都在千万以上。这样大的访问量对于网易、搜狐等来说怎样利用有限的资源让网民获得最快的速度成为首要的前提，毕 竟现在网络公司已经离开了烧钱的阶段，开始了良性发展，每一笔钱砸下去都需要一定回响才行的。另一方面，技术人员要绞尽脑汁，不能让用户老是无法访问、或 者访问速度极慢。这样就算有再好的编辑、再好的销售，他们也很难将广告位卖出去，等待他们的将是关门。当然这些情况都没有发生，因为他们的技术人员都充分 的利用了现有资源并将他们发挥到了极至。说到底就是用squid做web cache server，而apache在squid的后面提供真正的web服务。当然使用这样的架构必须要保证主页上大部分都是静态页面。这就需要程序员的配合将页面在反馈给客户端之前将页面全部转换成静态页面。好了基本架构就这样，下面说说我怎么猜到的以及具体的架构：

法宝之一：nslookup

实战：

nslookup www.sina.com.cn

Server: ns-px.online.sh.cn

Address: 202.96.209.5

Non-authoritative answer:

Name: taurus.sina.com.cn

Addresses: 61.172.201.230, 61.172.201.231, 61.172.201.232, 61.172.201.233

61.172.201.221, 61.172.201.222, 61.172.201.223, 61.172.201.224, 61.172.201.225

61.172.201.226, 61.172.201.227, 61.172.201.228, 61.172.201.229

Aliases: www.sina.com.cn, jupiter.sina.com.cn

这里可以看到新浪在首页上用到了那么多IP，开始有人会想果然新浪财大气粗啊。其实不然，继续往下看：

nslookup news.sina.com.cn

Server: ns-px.online.sh.cn

Address: 202.96.209.5

Non-authoritative answer:

Name: taurus.sina.com.cn

Addresses: 61.172.201.228, 61.172.201.229, 61.172.201.230, 61.172.201.231

61.172.201.232, 61.172.201.233, 61.172.201.221, 61.172.201.222, 61.172.201.223

61.172.201.224, 61.172.201.225, 61.172.201.226, 61.172.201.227

Aliases: news.sina.com.cn, jupiter.sina.com.cn

细心的人可以发现了news这个频道的ip数和首页上一样，而且IP也完全一样。也就是这些IP在sina的DNS上的名字都叫taurus.sina.com.cn，那些IP都是这个域的A记录。而news,sports,jczs.news。。。都是CNAME记录。用DNS来做自动轮询。还不信，再来一个，就体育频道好了：

nslookup sports.sina.com.cn

Server: ns-px.online.sh.cn

Address: 202.96.209.5

Non-authoritative answer:

Name: taurus.sina.com.cn

Addresses: 61.172.201.222, 61.172.201.223, 61.172.201.224, 61.172.201.225

61.172.201.226, 61.172.201.227, 61.172.201.228, 61.172.201.229, 61.172.201.230

61.172.201.231, 61.172.201.232, 61.172.201.233, 61.172.201.221

Aliases: sports.sina.com.cn, jupiter.sina.com.cn

其他的可以自己试。好了再来看看sohu的情况：

nslookup www.sohu.com

Server: ns-px.online.sh.cn

Address: 202.96.209.5

Non-authoritative answer:

Name: pagegrp1.sohu.com

Addresses: 61.135.132.172, 61.135.132.173, 61.135.132.176, 61.135.133.109

61.135.145.47, 61.135.150.65, 61.135.150.67, 61.135.150.69, 61.135.150.74

61.135.150.75, 61.135.150.145, 61.135.131.73, 61.135.131.91, 61.135.131.180

61.135.131.182, 61.135.131.183, 61.135.132.65, 61.135.132.80

Aliases: www.sohu.com

－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－

nslookup news.sohu.com

Server: ns-px.online.sh.cn

Address: 202.96.209.5

Non-authoritative answer:

Name: pagegrp1.sohu.com

Addresses: 61.135.150.145, 61.135.131.73, 61.135.131.91, 61.135.131.180

61.135.131.182, 61.135.131.183, 61.135.132.65, 61.135.132.80, 61.135.132.172

61.135.132.173, 61.135.132.176, 61.135.133.109, 61.135.145.47, 61.135.150.65

61.135.150.67, 61.135.150.69, 61.135.150.74, 61.135.150.75

Aliases: news.sohu.com

情况和sina一样，只是从表面来看sohu的IP数要多于sina的IP数，那么sohu上各个频道用的服务器就要多于sina了？当然不能这么说，因为一台服务器可以绑定多个IP，因此不能从IP数的多少来判断用了多少服务器。

从上面这些实验可以基本看出sina和sohu对于频道等栏目都用了相同的技术，即squid来监听这些IP的80端口，而真正的web server来监听另外一个端口。从用户的感觉上来说不会有任何的区别，而相对于将web server直接和客户端连在一起的方式，这样的方式明显的节省的带宽和服务器。用户访问的速度感觉也会更快。

1. 难道就根据几个域名的ip相同就可以证明他们是使用squid的嘛？

当然不是，前面都只是推测。下面才是真正的证实我上面的猜测。先nslookup一把sina的体育频道。

nslookup sports.sina.com.cn

Server: ns1.china.com

Address: 61.151.243.136

Non-authoritative answer:

Name: taurus.sina.com.cn

Addresses:61.172.201.231, 61.172.201.232, 61.172.201.233, 61.172.201.9

61.172.201.10, 61.172.201.11, 61.172.201.12, 61.172.201.13, 61.172.201.14

61.172.201.15, 61.172.201.16, 61.172.201.17, 61.172.201.227, 61.172.201.228

61.172.201.229, 61.172.201.230

Aliases: sports.sina.com.cn, jupiter.sina.com.cn

然后直接访问这些ip中的任意一个ip试试看，访问下来的结果应该是如下图所示：

CDN hspace=0 src="http://61.129.102.61:808/showimg.php?iid=13" align=baseline border=0>

由此可以证明sina是在DNS中设置了很多ip来指向域名sqsh-19.sina.com.cn，而其他各种相同性质的频道都只是sqsh-19.sina.com.cn一个别名，用CNAME指定。DNS的设置应该是这样的，然后server方面，通过squid 2.5.STABLE5（最新的稳定版为STABLE6）来侦听80端口。上面这些是根据一些信息分析而出的，应该基本正确的。下面一些就是我的个人的猜想：

它的真正的web server也同样是侦听80端口，因为在squid配置文件中有一项是：

httpd_accel_port 80

如果你设成其他端口号（比如88）的话，那上图的错误信息就会变成

While trying to retrieve the URL: http://61.172.201.19:88

工具2：nmap扫描程序：可以用来检查服务器开了什么端口。

我现在用nmap来扫描sina的一个ip：61.172.201.19来进行分析

bash-2.05$ nmap 61.172.201.19

Starting nmap 3.50 ( http://www.insecure.org/nmap/ ) at 2004-07-30 13:31 GMT

Interesting ports on 61.172.201.19:

(The 1657 ports scanned but not shown below are in state: filtered)

PORT STATE SERVICE

22/tcp open ssh

80/tcp open http

Nmap run completed -- 1 IP address (1 host up) scanned in 73.191 seconds

可以看到他对外只开了2个端口，80端口就是刚才我们说的squid打开的，这点刚才已经验证过了。而22端口是用来ssh远程连接的，主要是sa用来远程操作服务器用的安全性非常高的方法。

工具3：lynx或者其他可以读取http头文件的工具及小程序：

直接看例子比较好理解：

HTTP/1.0 200 OK

Date: Fri, 30 Jul 2004 05:49:47 GMT

Server: Apache/2.0.49 (Unix)

Last-Modified: Fri, 30 Jul 2004 05:48:16 GMT

Accept-Ranges: bytes

Vary: Accept-Encoding

Cache-Control: max-age=60

Expires: Fri, 30 Jul 2004 05:50:47 GMT

Content-Length: 180747

Content-Type: text/html

Age: 37

X-Cache: HIT from sqsh-230.sina.com.cn

Connection: close

上面是sina的http头的反馈信息。里面有很多有价值的东东哦：）譬如，它后面的 apache是用2.0.49，还设了过期时间为2分钟。最后修改时间。这些都是要在编译apache的时候载入的，特别是Last-Modified还 需要小小的改一把源码--至少我是这样做的。

综上所述

sina的架构应该是前面squid，按照现在的服务器2u，2g内存一般每台服务器至少可以跑4个squid2.5stable5. 这样它16个ip就用了4台服务器。后面一层是apache2.0.49应该会用2台。这2台可能用的全是私有ip，通过前面的squid服 务器在hosts文件中指定。具体的实现方法我会下次整理出我做实验的文档：）而apache的htdocs可能是有一个或2个磁盘阵列作nfs。 apache mount nfs server的时候应该是只读的，然后另外还有服务器转门用来做编辑器服务器，用来编辑人员更新文章。这台服务器应该对nfs server是具有可写的权限。

----这就一套完整的sina所运用的方案，当然很多是靠猜测的，我没有和sina的技术人员有过任何沟通（因为一个也不认识），否则我也就不会写出来了。其他sohu，163应该也有这样的架构。

最后声明：这只是一些静态页面组成频道的一个架构，sina还有很多其他服务器，什么下载，在线更新等不在这个架构中。

1、  新浪

新浪采用了ChinaCache做的CDN系统，ChinaCache在全国分布了四十多个点，同时采用基于动态dns分配的全球服务器负载均衡技术。

        从新浪的站点结构可以看出：

> www.sina.com.cn

Server:  UnKnown

Address:  192.168.1.254

 

Non-authoritative answer:

Name:    libra.sina.com.cn

Addresses:  61.135.152.71, 61.135.152.72, 61.135.152.73, 61.135.152.74          61.135.152.75, 61.135.152.76, 61.135.153.181, 61.135.153.182, 61.135.53.183,       61.135.153.184, 61.135.152.65, 61.135.152.66, 61.135.152.67, 61.135.12.68,  61.135.152.69, 61.135.152.70

Aliases:  www.sina.com.cn, jupiter.sina.com.cn

        在北京地区ChinaCache将www.sina.com.cn的网址解析到libra.sina.com.cn，然后libra.sina.com.cn做了dns负载均衡，将libra.sina.com.cn解析到61.135.152.71等16个ip上，这16个ip分布在北京的多台前台缓存服务器上，使用squid做前台缓存。如果是在其它地区访问www.sina.com.cn可能解析到本地相应的服务器，例如pavo.sina.com.cn，然后pavo又对应了很多做了squid的ip。这样就实现了在不同地区访问自动转到最近的服务器访问，达到加快访问速度的效果。

        我们再看一个新浪其它频道是指到哪里的：

> news.sina.com.cn

Server:  UnKnown

Address:  192.168.1.254

 

Non-authoritative answer:

Name:    libra.sina.com.cn

Addresses:  61.135.152.65, 61.135.152.66, 61.135.152.67, 61.135.152.68          61.135.152.69, 61.135.152.70, 61.135.152.71, 61.135.152.72, 61.135.152.73          61.135.153.178, 61.135.153.179, 61.135.153.180, 61.135.153.181, 61.135.153.182          61.135.153.183, 61.135.153.184

Aliases:  news.sina.com.cn, jupiter.sina.com.cn

可以看出，各个频道的前台缓存集群与www.sina.com.cn的前台缓存集群是相同的。

2、  搜狐

Sohu与新浪的原理差不多，下面是nslookup的结果：

> www.sohu.com

Server:  UnKnown

Address:  192.168.1.254

 

Non-authoritative answer:

Name:    pagegrp1.sohu.com

Addresses:  61.135.132.172, 61.135.132.173, 61.135.132.176, 61.135.133.109          61.135.145.47, 61.135.150.65, 61.135.150.67, 61.135.150.69, 61.135.150.74           61.135.150.75, 61.135.150.113, 61.135.150.145, 61.135.131.73, 61.135.131.91          61.135.131.180, 61.135.131.182, 61.135.131.183, 61.135.132.65, 61.135.

132.80

Aliases:  www.sohu.com

只不过libra.sina.com.cn换成了pagegrp1.sohu.com

我们再来看一下sohu的频道：

> news.sohu.com

Server:  UnKnown

Address:  192.168.1.254

 

Non-authoritative answer:

Name:    pagegrp1.sohu.com

Addresses:  61.135.145.47, 61.135.150.65, 61.135.150.67, 61.135.150.69          61.135.150.74, 61.135.150.75, 61.135.150.113, 61.135.150.145, 61.135.131.73          61.135.131.91, 61.135.131.180, 61.135.131.182, 61.135.131.183, 61.135.132.65          61.135.132.80, 61.135.132.172, 61.135.132.173, 61.135.132.176, 61.135.133.109

Aliases:  news.sohu.com

同新浪相同，用的是同样的服务器群，这可能是因为他们用的都是ChinaCache的服务吧，不过sohu的名字起的有点土，pagegrp1，没有libra，pavo好听，这名字听起来有点像法语，比较浪漫。

3、  网易

网易似乎没用ChinaCache的服务，下面是nslookup结果：

> www.163.com

Server:  UnKnown

Address:  192.168.1.254

 

Non-authoritative answer:

Name:    www.163.com

Addresses:  202.106.168.103, 202.106.168.104, 202.106.168.109, 202.106.168.121          202.108.36.153, 202.108.36.155, 202.108.36.156, 202.108.36.167, 202.108.36.172          202.108.36.196

直接在www.163.com 这个域名上做了dns负载均衡。这样的话就要求服务器必须放的非常靠近主节点，才能保证各地的用户访问的速度。

但163不同的频道是放在不同的缓存集群上的，这与sina，sohu有些不同，等于sina，sohu是按照地区划分服务器集群，而网易按照频道划分服务器集群。

> 163.com

Server:  UnKnown

Address:  192.168.1.254

 

Non-authoritative answer:

Name:    163.com

Addresses:  202.108.36.205, 202.108.36.206, 202.108.36.207, 202.108.36.201          202.108.36.202, 202.108.36.203, 202.108.36.204

显然，这和www.163.com不是一个集群，我们再来试一个：

> sports.163.com

Server:  UnKnown

Address:  192.168.1.254

 

Non-authoritative answer:

Name:    channel.cache.163.com

Addresses:  202.108.36.136, 202.108.36.208, 202.108.36.209, 202.108.36.210          202.108.36.211, 202.108.36.212, 202.108.36.213

Aliases:  sports.163.com

可以看出，和上面的集群也是不同的。

4、  百度

百度的前台服务器就不是很多了：

> www.baidu.com

Server:  UnKnown

Address:  192.168.1.254

 

Non-authoritative answer:

Name:    www.baidu.com

Addresses:  202.108.250.249, 202.108.249.134

 

> baidu.com

Server:  UnKnown

Address:  192.168.1.254

 

Non-authoritative answer:

Name:    baidu.com

Address:  202.108.250.228

 

> mp3.baidu.com

Server:  UnKnown

Address:  192.168.1.254

 

Non-authoritative answer:

Name:    mp3.baidu.com

Address:  202.108.249.131

只有www.baidu.com做了两台服务器的集群，频道都用了一台服务器做前台

 

5、  一搜

> yisou.com

Server:  UnKnown

Address:  192.168.1.254

 

Non-authoritative answer:

Name:    yisou.com

Addresses:  202.165.102.114, 202.43.217.14, 202.43.217.15, 202.43.217.16          202.43.217.17, 202.165.102.111, 202.165.102.112, 202.165.102.113

 

> www.yisou.com

Server:  UnKnown

Address:  192.168.1.254

 

Non-authoritative answer:

Name:    www.yisou.com

Addresses:  202.43.217.17, 202.165.102.111, 202.165.102.112, 202.165.102.113          202.165.102.114, 202.43.217.14, 202.43.217.15, 202.43.217.16

 

> mp3.yisou.com

Server:  UnKnown

Address:  192.168.1.254

 

Non-authoritative answer:

Name:    www.yisou.com

Addresses:  202.165.102.113, 202.165.102.114, 202.43.217.14, 202.43.217.15          202.43.217.16, 202.43.217.17, 202.165.102.111, 22.165.102.112

Aliases:  mp3.yisou.com

       前台做了8台服务器的缓存集群，www.yisou.com和 yisou.com以及mp3.yisou.com是用的同一个集群。

 

通过前面的分析我们可以得到一个结论：sina和sohu使用了CDN与GSBL与dns负载均衡技术，每个地区一组前台服务器群，网易，百度使用了dns负载均衡技术，每个频道一组前台服务器，一搜使用了dns负载技术，所有频道共用一组前台服务器集群。