Twitter 背后的技术

转自：　http://www.csdn.net/article/2013-12-09/2817755-Twitter-open-source

摘要：7年前的一个创意，成就了如今风靡全世界的社交网络和微博客服务——Twitter。如今Twitter的月活跃用户数达到了2亿多，每天大约有5亿条推文被发送。这一切的背后，是由大量的开源项目在支撑。

Twitter被称为“互联网的短信服务”，允许用户发布不超过140个字的微博客，该创意来自Twitter的联合创始人Jack Dorsey，这个在7年前被分析师称为“有史以来最愚蠢”的创意，不料如今已经成为了风靡全世界的社交网络和微博客服务，月活跃用户达到了2.183亿人，每天大约有5亿条推文（tweet）被发送，几乎每秒钟就产生了超过6000条推文。

2013年11月7日，Twitter正式在纽约证券交易所上市，发行价26美元，但开盘即大涨73%至45.1美元。

Twitter可以称之为构建于开源项目之上，该公司开源负责人Chris Aniszczyk表示，如果没有开源软件，Twitter将不会存在，用户在移动端和PC端发送和接收的每一条推文都会需要开源软件。

在Twitter公司，当计划开展一个新项目时，工程师会首先衡量需求以及开源项目的能力，并通过定制开源项目来更好地满足需求。正是如此，Twitter才发展如此迅速，并轻松解决了日益飞速扩增的流量和请求。

Twitter所使用的开源项目

Twitter每天需要处理用户发送的推文数超过4亿条，此外还要处理大量的时间线（来自用户关注的人的所有推文），这一工程是相当浩大和复杂的。Twitter使用了大量的开源项目，从各种工具到各种库。如果没有这些开源项目，日常工作将无法正常运作。

下面来看看推文传递的背后都用到了哪些开源项目。

1. 分析和搜索服务

Twitter的搜索服务每天支持超过10亿次的查询，其背后的开源项目包括：

 

• Apache Cassandra：一套分布式NoSQL数据库系统，以Amazon专有的完全分布式的Dynamo为基础，结合了Google BigTable基于列族（Column Family）的数据模型，是一个网络社交云计算方面理想的数据库。该项目最初由Facebook开发，于2008开源并捐赠给Apache基金会。
• Apache Hadoop：由Apache基金会所开发的分布式系统基础架构，可使应用程序充分利用集群的威力高速运算和存储，用户可以在不了解分布式底层细节的情况下，开发分布式程序。
• Apache Lucene：一个全文检索引擎工具包，目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。
• Apache Pig：一个基于Hadoop的大规模数据分析平台，它提供的类SQL语言称为Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算提供了一个简单的操作和编程接口。

 

2. 服务器和存储

Twitter需要将每天用户发送的推文存储到数据库，并推送给其他相关的用户。该过程用到的开源项目包括：

 

• Linux：主要用于Twitter服务器。
• Memcached：主要用于Twitter的缓存基础设施，作用是加速动态Web应用程序，减轻数据库负载。
• Mysql：流行的开源关系型数据库，被Twitter大量用于存储Twitter消息。
• Node.js：一套用来编写高性能网络服务器的JavaScript工具包，在Twitter中用于队列处理（接收推文并写入数据库），使服务器能处理每个连接而不会阻塞通道。

 

3. Twitter工程师的工具箱

 

• Apache Subversion：开源的版本控制系统
• Git：一个分布式的版本控制系统
• Eclipse：大名鼎鼎的Java IDE。
• Gerrit：一个基于Web的代码评审和项目管理的工具，主要面向基于Git版本控制系统的项目
• Jenkins：一个持续集成引擎，主要用于持续、自动地构建/测试软件项目，以及监控一些定时执行的任务
• RSpec：一个BDD 测试工具

 

4. Twitter背后的编程语言和框架

 

• OpenJDK：Java的开源版本。Twitter陆续将一些项目从Rails迁移到了Java。
• Python：一种高效的动态解释型Web编程语言。
• Ruby和Ruby on Rails：Twitter最初主要由Ruby和Rails开发。
• Scala：Twitter使用的主要应用编程语言之一，很多Twitter的基础架构都是用Scala编写。
• Clojure：Clojure是一种运行在Java平台上的Lisp方言，在任何具备Java虚拟机的地方，都可以利用Lisp的强大功能。Twitter的大数据处理系统Storm就是基于Clojure。
• Drupal：使用PHP语言编写的开源内容管理框架（CMF），由内容管理系统（CMS）和PHP开发框架共同构成。Twitter的开发者社区基于Drupal构建。
• Sinatra：一个轻量、快速的Ruby开发框架。

 

5. Twitter的前端解决方案

 

• jQuery：全球使用最广泛的JavaScript框架。
• Less：一个使用广泛的CSS预处理器，通过简单的语法和变量对CSS进行扩展,可减少很多CSS的代码量。
• MooTools：一个简洁、模块化、面向对象的开源JavaScript框架，为开发者提供了一个跨浏览器的JS解决方案
• Zepto.js：一个轻量级的Javascript框架，主要用于移动开发

 

6. Twitter服务开发框架

 

• TwistedMatrix：一个Python 框架，用来开发非阻塞异步的网络服务和应用程序。
• Netty：一个异步的、事件驱动的Web应用框架和工具，用于快速开发高性能、高可靠性的网络服务器和客户端程序。Netty目前作为Twitter的核心队列Kestrel的通信模块。
• Apache Thrift：一个由Facebook开源的远程服务调用框架，采用接口描述语言定义并创建服务，支持可扩展的跨语言服务开发，所包含的代码生成引擎可以在多种语言中创建高效的、无缝的服务。

 

Twitter公司所开源的项目

Twitter从开源社区中获得了大量的好处，而Twitter也在不断地回馈社区，开源了大量基础设施和工具，使得其他企业和开发者不必重新发明轮子，在这些开源项目的基础上更加快速地实现自己所需。

1. 大数据处理

 

• scalding：一个用于Cascading的Scala API。Cascading是一个构建于Hadoop上的API，用来创建复杂和容错数据处理工作流，它抽象了集群拓扑结构和配置，允许开发者快速开发复杂分布式的应用，而不用考虑背后的MapReduce。
• summingbird：允许开发者以类似于本地Scala或Java的方式编写MapReduce程序，并在大部分著名的分布式MapReduce平台（包括Storm和Scalding）中执行它们。

 

2. 前端项目

 

• Bootstrap：一个用于前端开发的工具包，包含了基本的CSS、HTML组件，包括排版、表单、按钮、表格、网格、导航等。
• TwUI：针对Mac平台的、支持硬件加速的UI框架，受到了UIKit的启发。
• typeahead.js：一个快速、全功能的自动完成库
• hogan.js：一个Mustache模板语言的编译器

 

3. 后端服务

 

• Twitter Mysql：Twitter的MySQL分支
• Parquet：一种Twitter内部供Hadoop使用的列式存储格式，为Hadoop生态系统中的所有项目提供支持高效率压缩的列式数据表达，而且与数据处理框架、数据模型或编程语言无关。
• Finagle：一个允许开发者使用Java、Scala或其他JVM语言来构建异步RPC服务器和客户端的库，主要用于Twitter的后端服务。
• iago：一个负载生成器，用来在产品正式发布前做流量负载测试。
• twemproxy：一个快速、轻量级的memcached和redis代理服务器
• zipkin：一个分布式的跟踪系统。在Twitter中用于收集各个服务上的监控数据，并提供查询接口。

 

4. Twitter基础设施通用库

 

• commons：Twitter的Python、JVM公共库
• util：Twitter的一些可重用的代码库
• cassovary：一个基于JVM的简单的大图形处理库

 

5. 收购其他公司后开源的项目

Twitter还收购了一些公司，并将这些公司的软件以开源形式发布。

 

• Storm：这是一个类似于Hadoop的实时数据处理框架，最初由BackType开发，后来BackType被Twitter收购，Twitter将Storm作为其实时数据分析系统。
• Whisper Systems的所有项目：Whisper Systems是一家移动安全初创公司，主要为Android手机和平板用户提供企业级的安全和管理解决方案。Twitter于2011年12月收购该公司，随后宣布将逐步开放Whisper Systems所有软件源代码。

 

更多的开源项目：http://twitter.github.io/

Twitter内部的开源氛围

1. 比Google更自由

尽管Google也开源了大量的项目，但是其开源程度并没有Twitter彻底。比如在数据中心方面，Google做了大量的保密工作，而在Twitter公司，这些要开放得多，员工自由实验的空间更大。

在一些大型企业中，所使用的软件或系统是相当固定的，员工需要在该基础设施上开发东西。而据Twitter员工透露，Twitter允许员工尝试新的不同的东西，甚至允许使用不同的语言和开源项目来重构Twitter的一些服务。

之前Google“20%的自由时间”为人津津乐道，如今该福利已经取消了。而在Twitter，每季度公司会举办hackweeks，员工可以拿出一周的时间从事各式各样的项目，这些项目不需要和他们每天的职责相关。

2. 在公司内部培训开源技术

2013年8月，Twitter收购了致力于开源技术培训的Marakana公司，成立了Twitter大学（Twitter University），其目的主要是为内部员工提供更丰富的培训资源，同时也希望吸引更好的工程技术人才加入公司。

Twitter大学将陆续向大众开放，Twitter也将部分教育资源放到了网上。比如scala_school（这是针对Scala编程语言的一系列教程）。

Twitter对开源基金会的支持

Twitter也通过资金和代码赞助了一些开源基金会和组织。

 

• Ada Initiative：一个在技术和文化上支持妇女参与开源技术的组织。
• Apache软件基金会：Twitter工程师也参与贡献了Apache软件基金会的部分项目。
• Eclipse基金会
• JCP：Java社区进程，主要负责制定Java规范和标准。
• Linux基金会：负责协调和推动Linux系统的发展。
• OIN：Open Invention Network（开放创新网络），一个旨在减轻Linux开发人员受到专利诉讼压力的机构。
• OpenJDK：Java的开源实现。