资讯频道 → 编程语言
阅读更多

45顶
0踩

编程语言

原创新闻 强烈推荐：著名社交网站LinkedIn的Java架构技术

2008-06-06 10:59 by 副主编 QQbyte 评论(29) 有35396人浏览
Java JNI

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

 

强烈推荐：著名社交网站LinkedIn的Java架构技术

在JavaOne 2008的会议上，著名社交网站LinkedIn的开发者做了2个关于LinkedIn

网站的架构技术的演讲，目前这两个演讲的PPT已经可以下载了。下载地址如下：

需要注册才可以下载，能下载PDF版本。

可以看一下LinkedIn网站的基本情况：

1。2千2百万用户
2。每个月4百万独立用户访问
3。每天4千万page view
4。每天2百万搜索流量
5。每天25万邀请发送
6。每天1百万的回答提交
7。每天2百万的email消息发送

这是一个世界顶尖级别流量的网站了，看看LinkedIn的系统架构：

    * 操作系统：Solaris (running on Sun x86 platform and Sparc)
    * 应用服务器：Tomcat and Jetty as application servers
    * 数据库：Oracle and MySQL as DBs
    * 没有ORM，直接用JDBC No ORM (such as Hibernate); they use straight JDBC
    * 用ActiveMQ在发送JMS. (It’s partitioned by type of messages. Backed by MySQL.)
    * 用lucene做搜索Lucene as a foundation for search
    * Spring做逻辑架构Spring as glue

下面是随着流量增加，LinkedIn的架构演化：

2003－2005
1。一个整体的web程序，
2。一个核心数据库，
3。在Cloud中缓存所有network图，Cloud是用来做缓存的独立server。
4。用lucene做搜索，也跑在Cloud中。

2006年
1。复制另外一个数据库，减少直接load核心数据库，另外一个server来管理非只读数据库的数据更新。
2。把搜索从Cloud中移出来，单独一个server跑搜索
3。增加Databus数据总线来更新数据，这是通过分布式更新的核心组件，任何组件都需要Databus

2008年
1。WebApp不再任何事情都它自己做，把业务逻辑分成很多部分，通过server群来做。WebApp仍然提供用户界面给用户，但是，通过server群来管理用户资料，小组等等。
2。每个服务有自己的域数据库
3。新的架构允许其他应用链接LinkedIn，比如增加的招聘和广告业务。

The Cloud
1。Cloud是整个架构最重要的部分，整个LinkedIn的网络图都缓存在Cloud里面
2。Cloud大小：22M nodes, 120M edges
3。需要12GB RAM
4。在生产环境要跑40个实例
5。从硬盘重建Cloud一个实例需要8个小时
6。Cloud通过databus实时更新
7。关闭时持久化到硬盘
8。缓存通过C++实现，用JNI调用，LinkedIn选择C++而不是Java有两个原因：
   1）尽可能的减少RAM的使用
   2）垃圾收集暂停会杀死整个系统，LinkedIn用了最新的GC程序，也就是就是说java的的垃圾搜集性能不太好
9。将所有东西放在缓存里面是一种限制，但是LinkedIn指出，分割业务图将更麻烦
10。Sun提供了2TB的RAM


Communication Architecture交流架构包括：

Communication Service

Communication Service是用来提供永久信息的，比如收件箱里面的消息和email
1。整个系统通过JMS异步通讯
2。客户端用JMS发送消息
3。消息通过路径服务器来到达相应的邮箱或者直接放到email进程中
4。消息发送：同时使用Pull主动寻求信息(如用户需要信息)和Push发送信息(如发email)
5。使用Spring和LinkedIn专业Spring插件完成，使用HTTP-RPC

Scaling Techniques
1。通过功能来划分：发送，接受，文档等。
2。通过类别来划分：用户信箱，访问者信箱等
3。等级划分：用户ID等级，Email等级等
4。所有的操作都是异步的。

 

推荐阅读：LinkedIn架构图：99％都是用Java写的

 

45
顶
0
踩
评论 共 29 条 请登录后发表评论
9 楼 mkclawhammer 2008-06-06 20:52
再次证明了，java不适合做大型互联网程序，用户一多竟然要耗费12G多的RAM！用这么多内存，GC起来确实很可怕，不死才怪！另外，我也只喜欢Spring不喜欢Hibernate。Spring提供了很多方便的功能，侵入性却很小。Hibernate只能做做小型程序差不多。
8 楼 donyee 2008-06-06 16:38
用了个大缓存系统，其它有特别的技术吗？
下载来研究研究！
7 楼 Sam1860 2008-06-06 15:09
哪里看出来是500PV/s 

每天4千万page view == 4.x PV每秒
6 楼 nwangwei 2008-06-06 14:55
每秒500PV，也不需要那样规模嘛，难道峰值很厉害？
5 楼 metaphy 2008-06-06 13:27
[Spring as glue]

这个glue太贴切了
4 楼 Sam1860 2008-06-06 13:19
感觉主要是用钱砸的架构
3 楼 泡泡 2008-06-06 12:30
Hibernate的话,DBA没多大用武之地了，不过为什么不用ibatis呢？
2 楼 lordhong 2008-06-06 11:48
tomcat... jetty... 不错嘛... 谁说一定要weblogic和websphere啊?
1 楼 QQbyte 2008-06-06 11:06
真是一个超级大系统，做一个小网站，和一个千万级网站的技术架构差别太大了！

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 著名社交网站LinkedIn的Java架构技术.doc

    介绍著名社交网站LinkedIn的Java架构技术

  • java开发社交网站_(转)强烈推荐：著名社交网站LinkedIn的Java架构技术

    强烈推荐：著名社交网站LinkedIn的Java架构技术在JavaOne 2008的会议上，著名社交网站LinkedIn的开发者做了2个关于LinkedIn网站的架构技术的演讲，目前这两个演讲的PPT已经可以下载了。下载地址如下：LinkedIn - A ...

  • java 社交平台 架构_(转)强烈推荐：著名社交网站LinkedIn的Java架构技术 - 第4页...

    http://www.infoq.com/cn/interviews/MySpace-Architecture-Dan-Farino-cn#MySpace首席系统架构师Dan Farino谈论了超大线上社区的系统架构，以及构建这样一个系统所面临的各种挑战。由于MySpace几乎完全基于.NET ...

  • java 社交平台 架构_[转贴] 著名社交网站LinkedIn的Java架构技术

    在JavaOne 2008的会议上，著名社交网站LinkedIn的开发者作了2个关于LinkedIn网站的架构技术的演讲，目前这两个演讲的PPT已经能够下载了。下载地址以下：java须要注册才能够下载，能下载PDF版本。nodeLinkIn开发者...

  • 著名社交网站LinkedIn的Java架构技术

    在JavaOne 2008的会议上，著名社交网站LinkedIn的开发者做了2个关于LinkedIn 网站的架构技术的演讲，目前这两个演讲的PPT已经可以下载了。下载地址如下： LinkedIn - A Professional Social Network Built...

  • 社交网站LinkedIn的Java架构技术

    强烈推荐：著名社交网站LinkedIn的Java架构技术在JavaOne 2008的会议上，著名社交网站LinkedIn的开发者做了2个关于LinkedIn网站的架构技术的演讲，目前这两个演讲的PPT已经可以下载了。下载地址如下：LinkedIn - A ...

  • linkedin 架构_投票：您如何使用LinkedIn？

    linkedin 架构Business social network LinkedIn announced that they’ve turned on their OpenSocial-powered web applications platform. The site is keeping the focus strictly on business and productivity ...

  • SNS网站LinkedIn的Java架构技术

    在JavaOne 2008的会议上，著名社交网站LinkedIn的开发者做了2个关于LinkedIn网站的架构技术的演讲可以看一下LinkedIn网站的基本情况：1.2千2百万用户2.每个月4百万独立用户访问3.每天4千万page view4.每天2百万搜索...

  • 系统架构演进路线及战术分析（微博、LinkedIn）

    微博，是基于用户关系的社交媒体平台，用户可以通过PC、手机等多种移动终端接入，以文字、图片、视频等多媒体形式，实现信息的即时分享、传播互动。微博基于公开平台架构，提供简单、前所未有的方式使用户能够公开...

  • 云计算：从基础架构原理到最佳实践之：云计算大数据分析与处理

    笔者认为，《云计算：从基础架构原理到最佳实践之：云计算大数据分析与处理》一书可以作为云计算从基础原理到最佳实践的一本专业技术书籍，系统阐述了云计算大数据分析与处理的技术原理、方法论、核心组件，并且以...

  • 解压软件 ZArchiver.apk

    解压软件 ZArchiver.apk

  • 毕设项目：基于SSM框架+mysql开发的教务管理系统分前后台【附含源码+数据库+毕业论文】

    二、技术实现 后端：spring，springmvc，mybatis，mysql 前端采用：vue，css 运行环境及开发工具：jdk8，idea或者eclipse，Navicat 三、系统功能 系统登录角色分为：管理员、老师、学生 用户登录 用户注册 首页 个人中心 修改密码 个人信息 班级管理 成绩类型管理 公告类型管理 教程类型管理 第几节管理 院系管理 职称管理 专业管理 公告管理 课程管理 成绩管理等功能

  • 设计和仿真一个用于控制双质量弹簧阻尼系统位移的多变量控制系统.docx

    设计和仿真一个用于控制双质量弹簧阻尼系统位移的多变量控制系统.docx

  • 1-全国各地级市金融机构本外币与人民币存款和贷款2010-2020年-社科数据.zip

    这份数据集详细记录了2010至2020年间中国各城市金融机构的本外币存款和人民币贷款情况。数据涵盖了商业银行、农村合作银行、信用社等多种金融机构的存款数据，包括本币和外币存款情况。这些数据不仅反映了各城市金融机构的存款规模，也为分析金融市场的发展趋势、资金流动状况及城市经济活动提供了重要视角。数据来源于中国区域统计年鉴和各省市统计年鉴，以面板数据形式呈现，包含1948个样本。通过这些数据，金融机构、政策制定者、研究人员和投资者可以深入了解各城市的金融市场格局，辅助做出更准确的决策和分析。

  • 开发一个带有 PCIe Endpoint 设备的驱动程序并实现热插拔功能.docx

    开发一个带有 PCIe Endpoint 设备的驱动程序并实现热插拔功能

  • NovaMaker-2.4.29-win-64-bit.zip

    NovaMaker-2.4.29-win-64-bit.zip

  • Spring Boot相关的资源.txt

    Spring Boot相关的资源.txt

  • Hive简易操作入门中文最新版本

    本文档主要讲述的是Hive简易操作入门；本流程中以putty为例，如果使用别的SSH客户端，界面上会不同，基本过程相似。希望本文档会给有需要的朋友带来帮助；感兴趣的朋友可以过来看看

  • ASP+ACCESS软件信息发布系统设计(源代码+论文+开题报告+任务书+答辩PPT)（源代码+论文+说明文档）.zip

    【项目资源】：包含前端、后端、移动开发、操作系统、人工智能、物联网、信息化管理、数据库、硬件开发、大数据、课程资源、音视频、网站开发等各种技术项目的源码。包括STM32、ESP8266、PHP、QT、Linux、iOS、C++、Java、python、web、C#、EDA、proteus、RTOS等项目的源码。【项目质量】：所有源码都经过严格测试，可以直接运行。功能在确认正常工作后才上传。【适用人群】：适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。【附加价值】：项目具有较高的学习借鉴价值，也可直接拿来修改复刻。对于有一定基础或热衷于研究的人来说，可以在这些基础代码上进行修改和扩展，实现其他功能。【沟通交流】：有任何使用上的问题，欢迎随时与博主沟通，博主会及时解答。鼓励下载和使用，并欢迎大家互相学习，共同进步。

Global site tag (gtag.js) - Google Analytics