资讯频道 → 开源软件
阅读更多

9顶
0踩

开源软件

原创新闻 【企业开源系列】Twitter：收发一条推文的背后

2013-12-10 13:38 by 副主编 wangguo 评论(12) 有21131人浏览
Twitter 开源 企业开源系列 Bootstrap Hadoop

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

Twitter被称为“互联网的短信服务”，允许用户发布不超过140个字的微博客，该创意来自Twitter的联合创始人Jack Dorsey，这个在7年前被分析师称为“有史以来最愚蠢”的创意，不料如今已经成为了风靡全世界的社交网络和微博客服务，月活跃用户达到了2.183亿人，每天大约有5亿条推文（tweet）被发送，几乎每秒钟就产生了超过6000条推文。

2013年11月7日，Twitter正式在纽约证券交易所上市，发行价26美元，但开盘即大涨73%至45.1美元。

Twitter可以称之为构建于开源项目之上，该公司开源负责人Chris Aniszczyk表示，如果没有开源软件，Twitter将不会存在，用户在移动端和PC端发送和接收的每一条推文都会需要开源软件。

在Twitter公司，当计划开展一个新项目时，工程师会首先衡量需求以及开源项目的能力，并通过定制开源项目来更好地满足需求。正是如此，Twitter才发展如此迅速，并轻松解决了日益飞速扩增的流量和请求。



Twitter所使用的开源项目

Twitter每天需要处理用户发送的推文数超过4亿条，此外还要处理大量的时间线（来自用户关注的人的所有推文），这一工程是相当浩大和复杂的。Twitter使用了大量的开源项目，从各种工具到各种库。如果没有这些开源项目，日常工作将无法正常运作。

下面来看看推文传递的背后都用到了哪些开源项目。

1.  分析和搜索服务

Twitter的搜索服务每天支持超过10亿次的查询，其背后的开源项目包括：

  • Apache Cassandra：一套分布式NoSQL数据库系统，以Amazon专有的完全分布式的Dynamo为基础，结合了Google BigTable基于列族（Column Family）的数据模型，是一个网络社交云计算方面理想的数据库。该项目最初由Facebook开发，于2008开源并捐赠给Apache基金会。
  • Apache Hadoop：由Apache基金会所开发的分布式系统基础架构，可使应用程序充分利用集群的威力高速运算和存储，用户可以在不了解分布式底层细节的情况下，开发分布式程序。
  • Apache Lucene：一个全文检索引擎工具包，目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。
  • Apache Pig：一个基于Hadoop的大规模数据分析平台，它提供的类SQL语言称为Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算提供了一个简单的操作和编程接口。
2. 服务器和存储

Twitter需要将每天用户发送的推文存储到数据库，并推送给其他相关的用户。该过程用到的开源项目包括：

  • Linux：主要用于Twitter服务器。
  • Memcached：主要用于Twitter的缓存基础设施，作用是加速动态Web应用程序，减轻数据库负载。
  • Mysql：流行的开源关系型数据库，被Twitter大量用于存储Twitter消息。
  • Node.js：一套用来编写高性能网络服务器的JavaScript工具包，在Twitter中用于队列处理（接收推文并写入数据库），使服务器能处理每个连接而不会阻塞通道。
3.  Twitter工程师的工具箱

  • Apache Subversion：开源的版本控制系统
  • Git：一个分布式的版本控制系统
  • Eclipse：大名鼎鼎的Java IDE。
  • Gerrit：一个基于Web的代码评审和项目管理的工具，主要面向基于Git版本控制系统的项目
  • Jenkins：一个持续集成引擎，主要用于持续、自动地构建/测试软件项目，以及监控一些定时执行的任务
  • RSpec：一个BDD 测试工具
4.  Twitter背后的编程语言和框架

  • OpenJDK：Java的开源版本。Twitter陆续将一些项目从Rails迁移到了Java。
  • Python：一种高效的动态解释型Web编程语言。
  • Ruby和Ruby on Rails：Twitter最初主要由Ruby和Rails开发。
  • Scala：Twitter使用的主要应用编程语言之一，很多Twitter的基础架构都是用Scala编写。
  • Clojure：Clojure是一种运行在Java平台上的Lisp方言，在任何具备Java虚拟机的地方，都可以利用Lisp的强大功能。Twitter的大数据处理系统Storm就是基于Clojure。
  • Drupal：使用PHP语言编写的开源内容管理框架（CMF），由内容管理系统（CMS）和PHP开发框架共同构成。Twitter的开发者社区基于Drupal构建。
  • Sinatra：一个轻量、快速的Ruby开发框架。
5.  Twitter的前端解决方案

  • jQuery：全球使用最广泛的JavaScript框架。
  • Less：一个使用广泛的CSS预处理器，通过简单的语法和变量对CSS进行扩展,可减少很多CSS的代码量。
  • MooTools：一个简洁、模块化、面向对象的开源JavaScript框架，为开发者提供了一个跨浏览器的JS解决方案
  • Zepto.js：一个轻量级的Javascript框架，主要用于移动开发
6.  Twitter服务开发框架

  • TwistedMatrix：一个Python 框架，用来开发非阻塞异步的网络服务和应用程序。
  • Netty：一个异步的、事件驱动的Web应用框架和工具，用于快速开发高性能、高可靠性的网络服务器和客户端程序。Netty目前作为Twitter的核心队列Kestrel的通信模块。
  • Apache Thrift：一个由Facebook开源的远程服务调用框架，采用接口描述语言定义并创建服务，支持可扩展的跨语言服务开发，所包含的代码生成引擎可以在多种语言中创建高效的、无缝的服务。
Twitter公司所开源的项目

Twitter从开源社区中获得了大量的好处，而Twitter也在不断地回馈社区，开源了大量基础设施和工具，使得其他企业和开发者不必重新发明轮子，在这些开源项目的基础上更加快速地实现自己所需。

1.  大数据处理

  • scalding：一个用于Cascading的Scala API。Cascading是一个构建于Hadoop上的API，用来创建复杂和容错数据处理工作流，它抽象了集群拓扑结构和配置，允许开发者快速开发复杂分布式的应用，而不用考虑背后的MapReduce。
  • summingbird：允许开发者以类似于本地Scala或Java的方式编写MapReduce程序，并在大部分著名的分布式MapReduce平台（包括Storm和Scalding）中执行它们。
2.  前端项目

  • Bootstrap：一个用于前端开发的工具包，包含了基本的CSS、HTML组件，包括排版、表单、按钮、表格、网格、导航等。
  • TwUI：针对Mac平台的、支持硬件加速的UI框架，受到了UIKit的启发。
  • typeahead.js：一个快速、全功能的自动完成库
  • hogan.js：一个Mustache模板语言的编译器
3.  后端服务

  • Twitter Mysql：Twitter的MySQL分支
  • Parquet：一种Twitter内部供Hadoop使用的列式存储格式，为Hadoop生态系统中的所有项目提供支持高效率压缩的列式数据表达，而且与数据处理框架、数据模型或编程语言无关。
  • Finagle：一个允许开发者使用Java、Scala或其他JVM语言来构建异步RPC服务器和客户端的库，主要用于Twitter的后端服务。
  • iago：一个负载生成器，用来在产品正式发布前做流量负载测试。
  • twemproxy：一个快速、轻量级的memcached和redis代理服务器
  • zipkin：一个分布式的跟踪系统。在Twitter中用于收集各个服务上的监控数据，并提供查询接口。
4.  Twitter基础设施通用库

  • commons：Twitter的Python、JVM公共库
  • util：Twitter的一些可重用的代码库
  • cassovary：一个基于JVM的简单的大图形处理库
5.  收购其他公司后开源的项目

Twitter还收购了一些公司，并将这些公司的软件以开源形式发布。

  • Storm：这是一个类似于Hadoop的实时数据处理框架，最初由BackType开发，后来BackType被Twitter收购，Twitter将Storm作为其实时数据分析系统。
  • Whisper Systems的所有项目：Whisper Systems是一家移动安全初创公司，主要为Android手机和平板用户提供企业级的安全和管理解决方案。Twitter于2011年12月收购该公司，随后宣布将逐步开放Whisper Systems所有软件源代码。
更多的开源项目：http://twitter.github.io/

Twitter内部的开源氛围

1.  比Google更自由

尽管Google也开源了大量的项目，但是其开源程度并没有Twitter彻底。比如在数据中心方面，Google做了大量的保密工作，而在Twitter公司，这些要开放得多，员工自由实验的空间更大。

在一些大型企业中，所使用的软件或系统是相当固定的，员工需要在该基础设施上开发东西。而据Twitter员工透露，Twitter允许员工尝试新的不同的东西，甚至允许使用不同的语言和开源项目来重构Twitter的一些服务。

之前Google“20%的自由时间”为人津津乐道，如今该福利已经取消了。而在Twitter，每季度公司会举办hackweeks，员工可以拿出一周的时间从事各式各样的项目，这些项目不需要和他们每天的职责相关。

2.  在公司内部培训开源技术

2013年8月，Twitter收购了致力于开源技术培训的Marakana公司，成立了Twitter大学（Twitter University），其目的主要是为内部员工提供更丰富的培训资源，同时也希望吸引更好的工程技术人才加入公司。

Twitter大学将陆续向大众开放，Twitter也将部分教育资源放到了网上。比如scala_school（这是针对Scala编程语言的一系列教程）。

Twitter对开源基金会的支持

Twitter也通过资金和代码赞助了一些开源基金会和组织。

  • Ada Initiative：一个在技术和文化上支持妇女参与开源技术的组织。
  • Apache软件基金会：Twitter工程师也参与贡献了Apache软件基金会的部分项目。
  • Eclipse基金会
  • JCP：Java社区进程，主要负责制定Java规范和标准。
  • Linux基金会：负责协调和推动Linux系统的发展。
  • OIN：Open Invention Network（开放创新网络），一个旨在减轻Linux开发人员受到专利诉讼压力的机构。
  • OpenJDK：Java的开源实现。
总结

Twitter在2011年就专门成立了一个“开源办公室”，用来支持对Twitter至关重要的开源组织。这足以见得开源对于Twitter的重要性。

Twitter公司开源负责人Chris Aniszczyk称，如果在开源社区花费一些精力，将会意识到信息的开放对于整个世界所带来的积极影响，在Twitter，从内到外都保持着开放的心态和浓厚的开源氛围，而且每个员工都有机会参与其中。同时Twitter对开源社区所做出的伟大工作充满感恩，并将一直和开源社区保持健康的关系。

再来看国内，如今一些大型互联网公司也开始重视开源，在使用开源项目构建基础服务的同时，也不忘回馈开源社区。【企业开源系列】后面也将会聚焦国内开源企业，带领大家认识一个全新的国内开源生态。

更多信息可参考Twitter公司开源负责人Chris Aniszczyk在LinuxCon EU 2013大会上的演讲PPT，以及以及Twitter公司的开源站点。

相关阅读：

  • 大小: 32.7 KB
9
顶
0
踩
评论 共 12 条 请登录后发表评论
12 楼 shuhen2011 2014-01-15 14:34
Twitter使用Nodejs了啊！
11 楼 kmanzxbin 2013-12-18 11:25
caizi12 写道
vcok 写道
一个不能被正常访问的网站有什么资格放在ITEye的首页？！

找喷

应该是高级黑吧
10 楼 happysoul 2013-12-13 14:22
还不如说说新浪和腾讯的微博呢。。。
9 楼 doccent 2013-12-12 21:34
可惜国内不能合法访问
8 楼 技术改变世界 2013-12-11 13:42
总结的不错，可惜啊在我朝看不到twitter~~
7 楼 kuchaguangjie 2013-12-11 01:11
freezingsky 写道
一个神奇的网站，从未见过！哎！

该网站在我朝尚未诞生, 过去没有, 现在没有, 未来 ... 除非 ....
6 楼 kuchaguangjie 2013-12-11 01:10
java 在其中的比重很高呀 ~~ , 看来 java 还是蛮有用的
5 楼 freezingsky 2013-12-10 21:42
一个神奇的网站，从未见过！哎！
4 楼 caizi12 2013-12-10 21:37
vcok 写道
一个不能被正常访问的网站有什么资格放在ITEye的首页？！

找喷
3 楼 vcok 2013-12-10 21:18
一个不能被正常访问的网站有什么资格放在ITEye的首页？！
2 楼 diggywang 2013-12-10 16:44
很想知道Twitter是否还在用Cassandra
1 楼 晨必须的 2013-12-10 16:01
巨头阿等等

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 企业开源系列】Twitter：收发一条推文的背后

     【企业开源系列】Twitter：收发一条推文的背后 昨天 by 副主编 wangguo 评论(8) 有2540人浏览 Twitter 开源 企业开源系列 Bootstrap Hadoop 声明：ITeye资讯文章的版权属于ITeye网站所有，...

  • (转)Twitter：收发一条推文的背后

    Twitter被称为“互联网的短信服务”，允许用户发布不超过140个字的微博客，该创意来自Twitter的联合创始人Jack Dorsey，这个在7年前被分析师称为“有史以来最愚蠢”的创意，不料如今已经成为了风靡全世界的社...

  • 【企业开源系列】全球著名互联网企业背后的开源力量

    一提到开源，大部分人首先想到的是免费。但其实价格并不是开源软件唯一的优势，其他优势还包括： 避免重复造轮子：对于企业来说，有现成的工具可用，节省了重新开发的成本； 质量更高、更安全：由于源码开放，...

  • 【企业开源系列】Google背后的开源力量

    《全球著名互联网企业背后的开源力量》文章中可知，目前开源软件已经成为了各大互联网企业背后的支撑力量，并逐渐改变着世界软件开发的格局。 [企业开源系列]系列专注于全球著名企业（包括国内企

  • 【企业开源系列】后起之秀Facebook凭什么挑战互联网霸主Google？

    尽管    target=" target="_blank"">Google极其推崇开源，并推出大量的开源项目，但是从根本上来看，Google的开源力度、开放程度远远比不...本文就来看看Facebook背后的开源力量。 style="text-align:

  • 细数百度公司的知名开源项目

    摘要：作为国内技术领先的互联网企业，百度公司也陆续开源了不少项目。其中一些如UEditor、Tangram已经在业界非常知名。 作为国内技术领先的互联网企业，百度公司也陆续开源了不少项目。其中一些如UEditor、...

  • 2021年 全网最细大数据学习笔记（一）：初识 Hadoop

    文章目录一、大数据1、大数据的定义2、大数据的特点3、大数据行业应用4、Hadoop 与大数据5、其他大数据处理平台6、大数据人才三、 一、大数据 随着近来计算机技术和互联网的发展，大数据 这个名词越来越多地进入到...

  • 研发周报：暴露程序员身份的8个行为

    摘要：本周看点：暴露程序员身份的8个行为、Twitter：收发一条推文的背后、敏捷开发的6个实战经验、TIOBE 2013年12月编程语言排行榜：Transact-SQL冲刺年度语言、维护代码库的五个精华实践。 在上一周中，研发...

  • 买台电脑，不行！去旅游一下，不行！论程序员怎么实现财务自由！

    “最近读了一本不是编程的程序员技能书《软技能-代码之外的生存指南》，全书分为 7 个篇章，分别是职业、自我营销、学习、生产力、理财、健身和精神。 在读完职业、自我营销和理财这三个篇章后，让我感触很深，也让...

  • 程序员怎样在35岁前实现财务自由？

    点击▲关注 “中生代技术” 给公众号标星置顶更多精彩技术内容 第一时间直达“ 不知大家有没有被“28岁实现财务自由，从字节跳动退休”，“蚂蚁整层楼都在欢呼，是财务自由的声音” 刷屏，...

  • 程序员也需要的软技能，既为了生存，也为了早日财务自由

    最近读了一本不是编程的程序员技能书《软技能 代码之外的生存指南》，全书分为7个篇章，分别是职业、自我营销、学习、生产力、理财、健身和精神。其中在读过职业、自我营销和理财这三个篇章后，让我非常有感触，也让...

  • Tripple Farm:Match 3 Combination Game Complete Project 合成小镇三消Unity合成消除游戏项目游戏插件模版C#

    Tripple Farm:Match 3 Combination Game Complete Project 合成小镇三消Unity合成消除游戏项目游戏插件模版C# 支持Unity2020.3.4或更高 您知道像三合镇这样的著名益智游戏，并且您想制作一个自己的游戏。就是这样。这个包正好适合您。 这是一个完整的项目，您可以在零分钟内将其上传到 appstore 或 googleplay 商店。 基本规则： 3个或以上相同的道具可以匹配升级为新的道具。动物如果被困住，也可以合并。 羽毛： -移动（android/ios）就绪。 - 包含所有源代码。 -超过 12 座建筑/军团需要升级。 -三种特殊物品可以提供帮助。 - 三个不同的主题（场景和动物） -unity iap 支持 -Unity UI -广告位已准备好 -包含详细文档

  • 【JAVA编程基础】针对新手的JAVA基础测试题：涵盖选择题、简答与编程实践

    内容概要：本文档是一份针对Java初学者的基础测试题，分为不定项选择题、简答题和编程题三大部分。选择题涵盖标识符、数组初始化、面向对象概念、运算符优先级、循环结构、对象行为、变量命名规则、基本

  • MATLAB机器人运动学、动力学及轨迹规划的建模与仿真

    内容概要：本文详细介绍了如何利用MATLAB进行机器人运动学、动力学以及轨迹规划的建模与仿真。首先，通过具体的代码实例展示了正运动学和逆运动学的实现方法，包括使用DH参数建立机械臂模型、计算末端位姿以及求解关节角度。接着，讨论了雅克比矩阵的应用及其在速度控制中的重要性，并解释了如何检测和处理奇异位形。然后，深入探讨了动力学建模的方法，如使用拉格朗日方程和符号工具箱自动生成动力学方程。此外，还介绍了多种轨迹规划技术，包括抛物线插值和五次多项式插值，确保路径平滑性和可控性。最后，提供了常见仿真问题的解决方案，强调了在实际工程项目中需要注意的关键点。 适合人群：对机器人控制感兴趣的初学者、希望深入了解机器人运动学和动力学的学生及研究人员、从事机器人开发的技术人员。 使用场景及目标：① 学习如何使用MATLAB进行机器人运动学、动力学建模；② 掌握不同类型的轨迹规划方法及其应用场景；③ 解决仿真过程中遇到的各种问题，提高仿真的稳定性和准确性。 其他说明：文中提供的代码片段可以直接用于实验和教学，帮助读者更好地理解和掌握相关概念和技术。同时，针对实际应用中的挑战提出了实用的建议，有助于提升项目的成功率。

  • 基于单片机的无线环境监测-仿真设计(51x2+12864+18B20+HW).#0092

    包括：源程序工程文件、Proteus仿真工程文件、配套技术手册等 1、采用51/52单片机作为主控芯片； 2、发送机：18B20测温、开关模拟灯光，发送数据； 3、接收机：接受数据、12864液晶显示；

  • 微电网优化中风光不确定性的处理：基于机会约束与概率序列的Matlab实现

    内容概要：本文探讨了在微电网优化中如何处理风光能源的不确定性，特别是通过引入机会约束和概率序列的方法。首先介绍了风光能源的随机性和波动性带来的挑战，然后详细解释了机会约束的概念，即在一定概率水平下放松约束条件，从而提高模型灵活性。接着讨论了概率序列的应用，它通过对历史数据分析生成多个可能的风光发电场景及其概率，以此为基础构建优化模型的目标函数和约束条件。文中提供了具体的Matlab代码示例，演示了如何利用CPLEX求解器解决此类优化问题，并强调了参数选择、模型构建、约束添加以及求解过程中应注意的技术细节。此外，还提到了一些实用技巧，如通过调整MIP gap提升求解效率，使用K-means聚类减少场景数量以降低计算复杂度等。 适合人群：从事电力系统研究、微电网设计与运营的专业人士，尤其是那些对风光不确定性建模感兴趣的研究者和技术人员。 使用场景及目标：适用于需要评估和优化含有大量间歇性可再生能源接入的微电网系统，旨在提高系统的经济性和稳定性，确保在面对风光出力波动时仍能维持正常运作。 其他说明：文中提到的方法不仅有助于学术研究，也可应用于实际工程项目中，帮助工程师们制定更为稳健的微电网调度计划。同时，文中提供的代码片段可供读者参考并应用于类似的问题情境中。

  • linux之用户管理教程.md

    linux之用户管理教程.md

  • 基于组态王与S7-200 PLC的六层至八层电梯控制系统设计与实现

    内容概要：本文详细介绍了如何利用组态王和西门子S7-200 PLC构建六层或八层电梯控制系统。首先进行合理的IO地址分配，明确输入输出信号的功能及其对应的物理地址。接着深入解析了PLC源代码的关键部分，涵盖初始化、呼叫处理、电梯运行逻辑和平层处理等方面。此外，提供了组态王源代码用于实现动画仿真，展示了电梯轿厢的画面创建及动画连接方法。最后附上了详细的电气原理图和布局图，帮助理解和实施整个系统架构。 适合人群：从事工业自动化控制领域的工程师和技术人员，尤其是对PLC编程和人机界面开发感兴趣的从业者。 使用场景及目标：适用于教学培训、工程项目实践以及研究开发等场合。旨在为相关人员提供一个完整的电梯控制系统设计方案，便于他们掌握PLC编程技巧、熟悉组态软件的应用，并能够独立完成类似项目的开发。 其他说明：文中不仅包含了理论知识讲解，还分享了许多实际操作经验，如解决编码器丢脉冲的问题、优化平层停车精度的方法等。同时强调了安全性和可靠性方面的考虑，例如设置了多重保护机制以确保系统稳定运行。

  • 基于MTF的1D-2D-CNN-LSTM-Attention时序图像多模态融合的故障识别，适合研究学习（Matlab完整源码和数据）

    在工业生产和设备运行过程中，滚动轴承故障、变压器油气故障等领域的数据分类与故障诊断至关重要。准确的数据分类与故障诊断能够及时发现设备潜在问题，避免故障恶化导致的生产事故与经济损失。LSTM能够捕获时序信息，马尔可夫场（MTF）能够一维信号转换为二维特征图，并结合CNN学习空间特征，MTF-1D-2D-CNN-LSTM-Attention模型通过将一维时序信号和二维图像融合，融合不同模态优势，并引入多头自注意力机制提高泛化能力，为数据分类与故障诊断提供了新的思路。实验结果表明，该模型在分类准确率、鲁棒性和泛化能力方面具有显著优势。多模态融合算法凭借其创新点和实验验证的有效性，在滚动轴承故障、变压器油气故障等领域展现出广阔的应用前景，有望推动相关领域故障诊断技术的进一步发展。 关键词：多模态融合；故障诊断；马尔可夫场；卷积神经网络；长短期记忆神经网络 适用平台：Matlab2023版本及以上。实验硬件设备配置如下：选用高性能计算机，搭载i7处理器，以确保数据处理和模型训练的高效性；配备16GB的内存，满足大规模数据加载和模型运算过程中的内存需求；使用高性能显卡，提供强大的并行计算能力，加速深度学习模型的训练过程。实验参数的选择依据多方面因素确定。

Global site tag (gtag.js) - Google Analytics