资讯频道 → 开源软件
阅读更多

1顶
0踩

开源软件

转载新闻 Github 的系统内部都在用什么开源软件？

2015-11-13 15:56 by 副主编 mengyidan1988 评论(1) 有8062人浏览
Github 开源软件 ChatOps
有时候处理规模问题最好的办法就是让事情变得简单并尽你可能去避免出现这种情况。这是 GitHub 所采用的方法，林纳斯·托瓦兹（Linus Torvalds）在十年前开发了Git源代码控制工具，GitHub 为该工具提供资料库服务（repository service），目前已经有了爆炸性的发展，并成为开源软件开发工作的重心之一。

可以理解为什么程序员们会精挑细选他们创作代码用的工具并与他人分享，反过来，他们也会去调整和改进这些工具。一种非常现实的感觉就是，软件开发者们“住进”这些系统中后，源代码版本控制系统的工作方式会对合作者们的创作过程提供积极或消极的影响。

GitHub 的成立可以追溯到2007年，它的建立者包括目前公司的首席运营官（COO，Chief Operating Officer）PJ Hyett，首席执行官（CEO，Chief Executive Officer）Chris Wanstrath，前首席执行官Tom Preston-Werner，首席信息官（CIO，Chief Information Officer）Scott Chacon。这些人当时都在 Rails 框架下开发 Ruby 应用程序，并希望通过一个更好的方式合作编码，为此他们开始搭建了预计在2008年开始运行的 GitHub。与其说这是一个商业计划，他们的开发更多是为了能有一个工具帮助他们自动化地协助自己的软件开发工作。

事实证明，GitHub 是世界上最大的 Ruby on Rails 应用程序，GitHub 系统主管 reckons Sam Lambert 曾和 The Platform（译者：一家网站 http://www.theplatform.net/）就该系统做过一次小的讨论。Lambert  不方便公开讨论 GitHub 有多少行代码构成，没有公司公布有多少行代码托管在 GitHub 仓库，但 Lambert 确实给我了们一些指标数据，这些数据是关于 GitHub 的使用增长情况，以及系统如何支撑为大约 60000 个机构或个人工作的 1000 万个程序员维护 2600 万个开源项目。

“基本上它就是一个简单的栈，对我们来说它真的很重要，“Lambert 说。“我们试图采用尽可能少的东西来保持这个栈的简单”。



另一方面，2008 年是创业公司的一个分界线（两年后 Amason Web Service 发布了 EC2 计算云），GitHub 可以使用云，第一次不需要在基础建设上做投资。但是，没有那么做，公司创始人和他们聘请的工程师已经绘制了技术栈草图，通过聊天工具见猎购买了一系列创造性的系统管理，软件布署工具，基本的 IT 操作都在 GitHub 上运行。

当然，公司在 GitHub 上有自己的私有仓库来开发 GitHub。虽然 Lambert 没有透露这个构成 GitHub 的 Ruby 应用的具体大小，但是他告诉我们这个平台在 GitHub 的仓库里有25万个 commit，有上百人贡献了他们的代码和提交这些变动的 commit，尽管不是所有人都在 GitHub 工作。

项目人

“GitHub 最初是为我们自己创建的，我们基本上都是软件工程师所以我们想要一个好的工具做开发。”，Lambert 如是说道，“我们使用 GitHub 去构建 GitHub，同时这也是我们每天去管理所有事物的东西。人力资源和法律团队在他们的工作流程上也在使用 GitHub。不仅仅只是程序员在使用 GitHub。我们非常幸运能够用其他公司不一定能做的方式完成了我们的代码。如果你招一些开发者为广告系统做开发，除非他们根本不在乎讨不讨厌广告，否则他们是不会愿意干的。而我们所有的开发人员都喜欢Git并且所有的工作都围绕着它，所以我们有为我们每天使用的工具而工作的特殊待遇。 ”

Github 栈的底端是硬件，它由几百台分布在各地数据中心的X86服务器组成。(Github 没有透露这些服务器位于何处，但 Lambert 确实说过，由于全球用户基数增长，Github 正在考虑在全球其他地区建立数据中心。)

“我们使用标准供应商的现成机器，” Lambert 说道,  但没有提及供应商的名字和配置. “我们对软件运行做了很多优化，但针对硬件我们并没有做不合适的大规模定制化。随着规模变大，我们试图让软件容错性更好，并且将数据拷贝到一次性机器上，这样我们就用不着维修机器了。你只需要毁掉它，重新将数据放到另一台机器上。这会让购买机器变得便宜，同时扩展的成本也更低。”
引用

“我们确实需要构建定制化和非比寻常的东西，因为一旦我们做了，我们就失去了社区正在做的东西的好处。这也告诉了我们怎么选择数据库，因为 MySQL 是每个人都在用的数据库。如果你使用它时碰到问题，这个问题别人也会碰到过，你自然不会碰到谁都无法理解的故障。”

硬件明显没有那么有趣 ——尤其对于软件工程师来说。但是 Lambert 尤其对自家开发的部署系统 GPanel 感到兴奋，它用 Ruby 开发，挂钩到 Puppet 配置工具，让公司里的任何人都可以准备机器并在上面发布软件。

“这让我们像在公有云上一样部署软件，却又允许我们享受拥有自己的硬件的所有好处。”

Github 的软件基础当然是 Linux，Lambert 也说过公司当然有足够的专家来运转自己的 Linux。但它没有这么做，而是简单地使用 Canonical Ubuntu 分布式服务器。至于存储 Git 代码和 Github 代码仓库访问控制系统的其他部分的数据库，Github 依赖 MySQL 关系数据库。Github 自己维护 Linux 和 MySQL 软件，以及 Ruby 和 Rails。Github 聘用了 Ruby 和 Rails 社区的主要维护者，因此可以推论，Github 在社区做自己的技术支持。但事实上随着应用的规模扩大，Github 同时拥有自定义版本的 Ruby 和 Rails。

Fork 代码

“当数据来临时，对我们来说真的是规模问题，我们正在使用一个高可用的方式弹性存储数据，”Lambert 说道，”它是关于适应 it具有可扩展性和易用性，因为它从来没有考虑过这一点。我们测量，GitHub 是最大的 Ruby on Rails 程序之一 – 许多公司都没有大规模的运行 Ruby。我们保持精益，做优化，以保持这种方式。

我们现阶段不完全，不像 Facebook 的HipHop和Facebook 用 PHP 做什么，但我们有人民奉献 Ruby 的核心，使其更快和精益。”

GitHub调整了Ruby解释器，并创立了自己的垃圾收集例程，但它也热衷于定位 Ruby 和 Rails 的错误尽可能快和获取代码修复到 GitHub 上，应用程序，以及输出到 Ruby 和 Rails 社区。 （ Ruby 开发托管在 GitHub 上，因为这样是为了 Rails。MySQL 的开发刚搬过来不久，用了甲骨文一些时间来做到这一点。）

GitHub可能是开发者的机器，用于疯狂的Fork代码——好，疯狂的 Fork 代码至少 – 让GitHub费力也不以为奇。兰伯特解释道：

“我们保持 GitHub 作为一个 Ruby on Rails 应用程序的原因是，它是非常容易和快速的学会。人们在该公司第一天上班就开始在 Github上 工作了。我们真的很需要一个的定制的和与众不同的构建，因为如果我们这样做，我们将失去了所有社区所带来的好处。这就是告诉我们的数据库选择，因为 MySQL是每个人都在使用的。如果你遇到 MySQL 的问题，它是已知的，你不会遇到晦涩难懂并且没人知道的错误信息。没有找不到答案的奇怪错误，因为你遇到的问题，有人已经遇到过”。

GitHub 的基础设施有 Web 服务器，代理服务器，认证服务器，和一堆执行有关仓库的分析、上传提交分析、数百万托管项目分析的系统，但真正核心是存储库本身。大多数这类数据是文本，当然，这不会占用很大的空间，相比一些更丰富照片，视频和音频媒体更能充塞互联网后面的磁盘驱动器。

奇怪的是，GitHub 没有使用传统的数据压缩方式压缩文本数据，但它有自己的压缩方式来节省空间。如果一个项目被 Fork，只在 Fork 中保存对原来的更改。 （我们假定这个方法也可以让你轻松地找出变化，在每一个 Fork 中迭代。）如果 GitHub 上保存每一个变化，每一个 Fork，它会很快有数不清的PB级数据，传统的数据压缩会系统变慢。事实证明，即使每天从程序员接受数百 GB 字节的新数据，整个 GitHub 的资源库的大小也是被度量在数百 TB 级。

在某些时候，在互联网上有很多猫的照片，所有猫的照片来自 master 猫的照片，并根据变化方式存储在 Fork 中 （译者注：这里做个比喻，形容 github 的 Fork 只存储与 Fork 之前的差别）（我们有点开玩笑。）

“有很多公司说他们已经到达 TB 和 PB 级的数据，你问他们那都是些什么数据，它们通常只是垃圾，” Lambert 笑着说。“大多大数据公司仅仅用来存储事件 —— 这些基本上都是没用的。我们非常自豪于我们一直保持着精益和优化，我们不会存储大量无用的数据。相对于我们的竞争对手，存储到仓库的比率显示了我们非常非常地精益。我们尽可能不去存储数据，因为我们有一些非常智能的东西在后端让我们保持松散和分叉。我们有很多 Git，但我们还是会尽我们所能去优化。”

回顾 GitHub 的发展经历，从公司到老旧的学校，都可以快速简单地获取指定的存储和计算能力并启动它们。

“我们总是领先一步，我不能说是压力驱使，但我们确实有压力“Lambert 没有具体说明集群是如何快速发展的。“我们每天有数百 G 的新数据，并且仓库的使用规模快速增长，但我们创建了基础设施，可以和业务增长保持同步扩展”，这是因为我们的计划做得很好，现在也没有变慢的迹象。“

如果 GitHub 像其他 hyperscaler 一样，它的基础设施发展会滞后于推动基础设施的因素发展。很难去扩展服务，存储和用户，这也是为什么在 hyperscaler 有这么多的工程创造力。

使用公共的 Github 仓库是免费的，但是上面的代码可以被任何感兴趣的人获取和 fork。GitHub 有偿提供私有仓库，这是它计划盈利的方式。价格从 7 美元每个月的包含 5 个私有仓库的个人计划到200美元的程序员团队可共享 125 个私有仓库的商业计划。对于那些需要在内部搭建 Github 来开发代码的公司，可以购买 GitHub Enterprise 授权，售价 2,500 美元，每年可安装 10 个主机，并且跟 Github 有同样的外观。GitHub Enterprise 可以在内部主机上搭建，也可以搭建在 Amazon Web Services 或者  Microsoft Azure 公有云上。目前 GitHub 和 GitHub Enterprise 由同一个支持团队维护，但是如果你要在 GitHub Enterprise 上做内部开发并想开源到 GitHub，没有自动化的方式来完成。但 Lambert 表示存在空间。

除了核心Ruby on Rails应用程序和存储算法把GIT中的代码存放到文件服务器，GitHub也正在工作于其它应用上。 “有些技术你只是没有把它下架，因为世界上我们是最大的代码托管商，我们有很多定制领域的问题，”兰伯特说。

向前发展的其中一个重点领域是，提供了一组更丰富的关于程序员的项目分析和工作分析，因为很多公司都在使用开源软件，以此来吸引人才。这就是为什么GitHub将扩展到新的市场，有很多变化的文档和Fork是协作过程的一部分。就像GitHub里面的团队一样，使用该工具来跟踪项目，架构师，音乐家和其他工匠开始使用该工具，这可能为Github提供了另一波增长。

GitHub 在 2012 年的 7 月第一轮风险融，从 Andressen Horowitz 那里资筹集了 1 亿美元，和今年 7 月的第二轮融资，从红杉资本和 Andreessen Horowitz，Thrive Capital 和 Institutional Venture Partners 筹集了另外 2.5 亿美元,该公司尚未公开，但鉴于其融资的估值约为 20 亿美元，和现金增长其基础,并扩大它的目标市场。

ChatOps文化与分布式开发

GitHub 的一个重要创新，严格的讲，不是代码部分,但绝对是公司 Hubot 的一部分，这是公司使用的一个聊天机器人系统管理接口。这种方法通常被称为 ChatOps，给部署操作起别名，通过聊天机器人，用聊天的方式做 DevOps。在 GitHub 里一切都使用它。

来自：oschina
  • 大小: 46.5 KB
来自: oschina
1
顶
0
踩
评论 共 1 条 请登录后发表评论
1 楼 凤舞文学网 2015-11-14 11:06
凤舞文学网  网址：www.qiuwu.net

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • java办公oa系统源码-ndxt.github.io:南大先腾开源计划

    **框架的适用范围定位在企业、学校、医院、政府等机构内部的办公系统。框架的核心思想包括： 通过确定技术选型来营造一个共同的学习氛围，增进开发人员交流同事也减小团体人员变动的成本。框架选择的技术都是非常...

  • 什么是开源？为什么要坚持开源？

    高度自主、安全可控、开放自由，开源让这个世界产生更多的交互、分享，拥抱更多未知和可能性

  • 2021 年 GitHub 最佳开源软件榜单

    点击上方“码农突围”，马上关注这里是码农充电第一站，回复“666”，获取一份专属大礼包真爱，请设置“星标”或点个“在看来自OSC社区作为一家信息技术媒体公司，InfoWorld 成立于 1...

  • 撸了个商城系统，已在Github上开源了，快来看看吧！

    mall 是一个基于 golang、 gin、 gorm、 vue3、element plus 开发的商城系统，包括golang后端、 Vue后台管理员前端 ，主要功能有商品管理、订单管理、用户管理。

  • SurveyKing（卷王） 是一个开源免费、功能强大、稳定的调查问卷系统，安装使用非常简单，支持多种数据库，内置 20 多种题

    SurveyKing（卷王） 是一个开源免费、功能强大、稳定的调查问卷系统，安装使用非常简单，支持多种数据库，内置 20 多种题型， 支持多人协作管理问卷。 Java是一种通用的，基于类的，面向对象的编程语言。它是用于...

  • 程序猿必看的 10 大 GitHub 开源项目

    以下是引起轰动的前 10 个 GitHub 开源库。探索到此结束。我希望您发现这些信息有帮助并喜欢阅读。

  • GitHub上有不错的 C 开源项目？

    si78c 用 C 语言重新复现了游戏逻辑，可以让你更容易的理解原始系统内部的工作原理。它不是对《太空侵略者》的模仿，而是一种恢复。 地址：https://github.com/loadzero/si78c 04. 游戏模拟器 mGBA mGBA 是用于运行...

  • GitHub开源内部负载均衡软件

    GitHub将发布开源版的GitHub负载均衡软件（GLB），这是内部开发的负载均衡系统。开发GLB的初衷是满足GitHub的这一要求：每天处理数十亿的HTTP连接、Git连接和SSH连接。而如今，这家公司将通过开源来发布GLB的组件，...

  • GitHub 6大热门实时人脸识别开源项目！哪个最适合初级开发者？

    实时人脸识别系统在计算机视觉领域仍然是一个... 在本文中，我们将帮助你挑选最佳开源人脸识别项目，并向你展示为什么选择开源软件通常是最佳选择。 为什么选择开源人脸识别项目？ 开源软件有很多优点。 首先，使用开

  • 在 GitHub 上玩转开源项目的 Code Review

    时光荏苒，岁月如梭…… （太文绉绉了，这不是我的风格）今天我准备聊聊在 GitHub 上如何玩 Code Review。

  • 吐血分享GitHub个人收藏最好的几个开源项目（2020年）

    在代码的路上越走越远，Github没少闲逛，也陆陆续续star好多好开源项目，为了不让其吃灰，吐血分享推荐，欢迎大家收藏Star! No.1 Switch 模拟器（C++ 项目） yuzu 是免费开源的 Nintendo Switch 模拟器。目前仅...

  • 春节还怕抢不到票？Github上11k star开源神器助你一臂之力

    春节将至，还在担心抢不到票？快来搭建一个属于自己的抢票平台吧！

  • 开源软件介绍——开源基金会和开源许可证

    开源软件介绍——开源基金会和开源许可证

  • 久违了，盘点 6 个让我爱不释手的 GitHub 开源神器！

    公众号关注“GitHubDaily”设为 “星标”，每天带你逛 GitHub！大家好，我是小 G。最近几天在 GitHub 闲逛，发现一些比较实用的开源工具，今天稍作整理，简单跟大家分享...

  • Github、Gitee优秀的开源项目

    收集 Github、Gitee优秀的开源项目，并进行归类整理。

  • java采购管理系统源码-shobagopi.github.io:简历/简历

    java采购管理系统源码绍巴纳 GOPI 电话号码：425-943-0796，电子邮件 ID： 概括 计算机程序员具有永不满足的求知欲，能够挖掘位于大量结构化、半结构化和非结构化数据中的隐藏宝石。 能够通过可视化和健康的探索意识...

  • 六大理由告诉你为什么这么多优秀的公司都在做开源

    微观经济动机获项目拥有权降低总体拥有成本如果有足够的眼球，所有的漏洞都很浅（Linus定律）开源是未来上游改进模块化减少重复工作吸引人才可能的最佳技术访谈2.宏观经济动机效率站在巨人的肩膀上推动创意市场3. ...

  • 基于模糊故障树的工业控制系统可靠性分析与Python实现

    内容概要：本文探讨了模糊故障树（FFTA）在工业控制系统可靠性分析中的应用，解决了传统故障树方法无法处理不确定数据的问题。文中介绍了模糊数的基本概念和实现方式，如三角模糊数和梯形模糊数，并展示了如何用Python实现模糊与门、或门运算以及系统故障率的计算。此外，还详细讲解了最小割集的查找方法、单元重要度的计算，并通过实例说明了这些方法的实际应用场景。最后，讨论了模糊运算在处理语言变量方面的优势，强调了在可靠性分析中处理模糊性和优化计算效率的重要性。 适合人群：从事工业控制系统设计、维护的技术人员，以及对模糊数学和可靠性分析感兴趣的科研人员。 使用场景及目标：适用于需要评估复杂系统可靠性的场合，特别是在面对不确定数据时，能够提供更准确的风险评估。目标是帮助工程师更好地理解和预测系统故障，从而制定有效的预防措施。 其他说明：文中提供的代码片段和方法可用于初步方案验证和技术探索，但在实际工程项目中还需进一步优化和完善。

  • 风力发电领域双馈风力发电机（DFIG）Simulink模型的构建与电流电压波形分析

    内容概要：本文详细探讨了双馈风力发电机（DFIG）在Simulink环境下的建模方法及其在不同风速条件下的电流与电压波形特征。首先介绍了DFIG的基本原理，即定子直接接入电网，转子通过双向变流器连接电网的特点。接着阐述了Simulink模型的具体搭建步骤，包括风力机模型、传动系统模型、DFIG本体模型和变流器模型的建立。文中强调了变流器控制算法的重要性，特别是在应对风速变化时，通过实时调整转子侧的电压和电流，确保电流和电压波形的良好特性。此外，文章还讨论了模型中的关键技术和挑战，如转子电流环控制策略、低电压穿越性能、直流母线电压脉动等问题，并提供了具体的解决方案和技术细节。最终，通过对故障工况的仿真测试，验证了所建模型的有效性和优越性。 适用人群：从事风力发电研究的技术人员、高校相关专业师生、对电力电子控制系统感兴趣的工程技术人员。 使用场景及目标：适用于希望深入了解DFIG工作原理、掌握Simulink建模技能的研究人员；旨在帮助读者理解DFIG在不同风速条件下的动态响应机制，为优化风力发电系统的控制策略提供理论依据和技术支持。 其他说明：文章不仅提供了详细的理论解释，还附有大量Matlab/Simulink代码片段，便于读者进行实践操作。同时，针对一些常见问题给出了实用的调试技巧，有助于提高仿真的准确性和可靠性。

Global site tag (gtag.js) - Google Analytics