资讯频道 → 数据库
阅读更多

1顶
0踩

数据库

原创新闻 Twitter发布新的大数据实时分析系统Heron

2015-06-03 13:36 by 副主编 mengyidan1988 评论(1) 有6111人浏览
twitter Heron

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

昨日，Twitter发布了新开发的数据实时分析平台Heron，以下为官方文档摘译：

我们每天在Twitter上处理着数十亿的事件。正如你猜测的那样，实时分析这些事件是一个巨大的挑战。目前，我们主要的分析平台是开源的分布式流计算系统Storm。但是随着Twitter数据规模变大和多样化，我们的需求已经发生了改变。因此，我们设计了一个新系统Heron——实时分析平台，它可完全兼容Storm的API。我们在昨天的SIGMOD 2015上正式推出。

基本原理和方法：

实时流系统是在大规模数据分析的基础上实现系统性的分析。另外，它还需要：每分钟处理数十亿事件的能力、有秒级延迟，和行为可预见；在故障时保证数据的准确性，在达到流量峰值时是弹性的，并且易于调试和在共享的基础设施上实现简单部署。

为了满足这些需求，我们讨论出了几种方案，包括：扩展Storm、使用其他的开源系统、开发一个全新的平台。因为我们有几个需求是要求改变Storm的核心架构，所以对它进行扩展需要一个很长的开发周期。其他的开源流处理框架并不能完美满足我们对于规模、吞吐量和延迟的需求。而且，这些系统也不能兼容Storm API——适应一个新的API需要重写几个topologies和修改高级的abstractions，这会导致一个很长的迁移过程。所以，我们决定建立一个新的系统来满足以上提到需求和兼容Storm API。

Heron的特色：

我们开发Heron，主要的目标是增加性能预测、提高开发者的生产力和易于管理。



图1：Heron Architecture



图2：Topology Architecture
对于Heron的整体架构请看图1和图2。用户使用Storm API来构建和提交topologies来实现一个调度。调度运行的每一个topology作为一个job，有几个容器组成，其中一个容器运行主topology，负责管理topology。每个剩余的容器运行一个流管理器，负责数据路由——一个权值管理器，用来搜集和报告各种权值和多个Heron实例（运行user-defined spout/bolt代码）进程。这些容器是基于集群中的节点的资源可用性来实现分配和调度。对于topology元数据，例如物理计划和执行细节，都是保管在Zookeeper中。

Heron功能：
  • Off the shelf scheduler：通过抽象出调度组件，我们可轻易地在一个共享的基础设施上部署，可以是多种的调度框架，比如Mesos、YARN或者一个定制的环境。
  • Handling spikes and congestion：Heron 具有一个背压机制，即在执行时的一个topology中动态地调整数据流，从而不影响数据的准确性。这在流量峰值和管道堵塞时非常有用。







图3：Heron UI showing logical plan, physical plan and status of a topology

  • Easy debugging：每个任务是进程级隔离的，从而很容易理解行为、性能和文件配置。此外，Heron topologies复杂的UI如图3所示，可快速和有效地排除故障问题。
  • Compatibility with Storm：Heron提供了完全兼容Storm的特性，所我们无需再为新系统投资太多的时间和资源。另外，不要更改代码就可在Heron中运行现有的Storm topologies，实现轻松地迁移。
  • Scalability and latency：Heron能够处理大规模的topologies，且满足高吞吐量和低延迟的要求。此外，该系统可以处理大量的topologies。

Heron性能

我们比较了Heron和Storm，样本流是150,000个单词，如下图所示：



图4. Throughput with acks enabled



图5. Latency with acks enabled

如图4所示，Heron和Storm的吞吐量呈现线性增长的趋势。然而，在所有的实验中，Heron吞吐量比Storm高10–14倍。同样在端至端延迟方面，如图5所示，两者都在增加，可Heron延迟比Storm低5–15倍。

除此之外，我们已经运行topologies的规模大概是数百台的机器，其中许多实现了每秒产生数百万次事件的资源处理，完全没有问题。有了Heron，众多topologies的每秒集群数据可达到亚秒级延迟。在这些案例中，Heron实现目标的资源消耗能够比Storm更低。

Heron at Twitter

在Twitter，Heron作为我们主要的流媒体系统，运行数以百万计的开发和生产topologies。由于Heron可高效使用资源，在迁移Twitter所有的topologies后，整体硬件减少了3倍，导致我们的基础设置效率有了显著的提升。

下一步？

我们乐意协作和在Storm社区分享我们的经验，或是其他实时流处理系统的社区，以便进一步促进这些程序的开发。

我们第一步是分享我们在SIGMOD 2015上的Heron研究论文。你会发现更多的细节：我们设计Heron的动机、系统的功能和性能，以及我们如何在Twitter上使用它。

致谢：

Sanjeev Kulkarni, Maosong Fu, Nikunj Bhagat, Sailesh Mittal, Vikas R. Kedigehalli, Siddarth Taneja (@staneja), Zhilan Zweiger, Christopher Kellogg, Mengdie Hu (@MengdieH) and Michael Barry.

「注：上面感谢的是Heron贡献者，Twitter ID也给了出来，如果对这个系统很感兴趣，不妨联系他们。」

还要着重感谢Storm社区，他们提供了很多的经验教训，帮助我们推进分布式实时分析处理系统。

参考：

Twitter Heron: Streaming at Scale, Proceedings of ACM SIGMOD Conference, Melbourne, Australia, June 2015

Storm@Twitter, Proceedings of ACM SIGMOD Conference, Snowbird, Utah, June 2014

原文地址：https://blog.twitter.com/2015/flying-faster-with-twitter-heron
  • 大小: 80 KB
  • 大小: 98.3 KB
  • 大小: 94.2 KB
  • 大小: 79.9 KB
  • 大小: 51.7 KB
  • 大小: 69.6 KB
1
顶
0
踩
评论 共 1 条 请登录后发表评论
1 楼 zjumty 2015-06-04 14:25
不知道什么时候能开源出来啊?

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • Flume+Kafka+Storm+Redis实时分析系统基本架构

    今天作者要在这里通过一个简单的电商网站订单实时分析系统和大家一起梳理一下大数据环境下的实时分析系统的架构模型。当然这个架构模型只是实时分析技术的一个简单的入门级架构，实际生产环境中的大数据实时分析技术...

  • Heron：Twitter的新一代流处理引擎

    流计算又称实时计算，是继以Map-Reduce为代表的批处理之后的又一重要计算模型。随着互联网业务的发展以及数据规模的持续扩大，传统的批处理计算难以有效地对数据进行快速低延迟处理并返回结果。由于数据几乎处于不断...

  • 大数据实时处理系统架构

    系统基本架构整个实时分析系统的架构就是先由电商系统的订单服务器产生订单日志, 然后使用Flume去监听订单日志，并实时把每一条日志信息抓取下来并存进Kafka消息系统中, 接着由Storm系统消费Kafka中的消息，同时消费...

  • 大数据，数据分析，机器学习，架构等相关系统名称名词解释

    Twitter开源了数据实时分析平台Heron。 Twitter使用Storm实时分析海量数据已经有好几年了，并在2011年将其开源。该项目稍后开始在Apache基金会孵化，并在2015年秋天成为顶级项目。Storm以季度为发布周期，并且向着...

  • Heron-新一代实时流处理

     Heron 新一代流处理框架详解  </a></span>            标签：  (['_trackEvent','function', 'onclick', 'blog_articles_tag']);">Architecture</a><a href=...

  • 大数据开源框架技术汇总

    主要基于对现阶段一些常用的大数据开源框架技术的整理，只是一些简单的介绍，并不是详细技术梳理。可能会有疏漏，发现再整理。参考得太多，就不一一列出来了。这只是作为一个梳理，对以后选型或者扩展的做个参考。

  • 硅谷企业的大数据平台架构什么样？看看Twitter、Airbnb、Uber的实践

    导读：本文分析一下典型硅谷互联网企业的大数据平台架构。作者：彭锋 宋文欣 孙浩峰来源：大数据DT（ID：hzdashuju）01 Twitter的大数据平台架构Twitter是最早一批推进...

  • Java程序员的实时分析系统基本架构需要注意的有哪些？

    这里通过一个简单的电商网站订单实时分析系统和大家一起梳理一下大数据环境下的实时分析系统的架构模型。当然这个架构模型只是实时分析技术的一 个简单的入门级架构，实际生产环境中的大数据实时分析技术还涉及到很...

  • go 生成基于 graphql 服务器库.zip

    格奇尔根 首页 > 文件 > gqlgen是什么？gqlgen是一个 Go 库，用于轻松构建 GraphQL 服务器。gqlgen 基于 Schema 优先方法— 您可以使用 GraphQL Schema 定义语言来定义您的 API 。gqlgen 优先考虑类型安全— 您永远不应该看到map[string]interface{}这里。gqlgen 启用 Codegen — 我们生成无聊的部分，以便您可以专注于快速构建您的应用程序。还不太确定如何使用gqlgen？将gqlgen与其他 Go graphql实现进行比较快速启动初始化一个新的 go 模块mkdir examplecd examplego mod init example添加github.com/99designs/gqlgen到项目的 tools.goprintf '//go:build tools\npackage tools\nimport (_ "github.com/99designs/gqlgen"\n _ "github.com/99designs/gqlgen

  • 基于JAVA+SpringBoot+Vue+MySQL的社区物资交易互助平台 源码+数据库+论文(高分毕业设计).zip

    项目已获导师指导并通过的高分毕业设计项目，可作为课程设计和期末大作业，下载即用无需修改，项目完整确保可以运行。 包含：项目源码、数据库脚本、软件工具等，该项目可以作为毕设、课程设计使用，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。 项目都经过严格调试，确保可以运行！可以放心下载 技术组成 语言：java 开发环境：idea 数据库：MySql8.0 部署环境：maven 数据库工具：navicat

  • 法研杯2021类案检索赛道三等奖方案源码+项目说明+数据.zip

    法研杯2021类案检索赛道三等奖方案源码+项目说明+数据.zip是一个专为计算机相关专业（如计科、信息安全、数据科学与大数据技术等）学生设计的宝贵学习资源。该压缩包包含了完整的项目源码、详细的项目说明文档以及用于训练和测试的数据集，旨在帮助参赛者深入理解并掌握类案检索的相关技术和方法。该项目通过实际案例，展示了如何运用自然语言处理和机器学习技术对法律案件进行智能检索和匹配。项目内容涵盖了从数据预处理、特征提取到模型训练和评估的全过程，为学习和研究类案检索技术提供了全面的参考。本项目不仅适合作为课程设计、期末大作业或毕设项目的参考，也是企业员工提升技能、进行实践操作的优质学习资料。通过实际操作和学习该项目，用户可以加深对类案检索技术的理解，并在实践中不断提升自己的技能水平。请注意，由于该资源包含完整的项目源码和数据集，下载和使用时请确保遵守相关法律法规和道德规范，尊重知识产权和隐私权。同时，建议用户在使用前仔细阅读项目说明文档，了解项目的整体架构和使用方法，以便更好地利用该资源进行学习和研究。

  • 基于Cesium实现的对倾斜摄影模型的单体化分层方案源码.zip

    本资源提供了基于Cesium实现的倾斜摄影模型单体化分层方案的完整源码，旨在帮助开发者深入理解并实践三维地理空间数据的处理与展示。通过Cesium平台，用户能够将倾斜摄影获取的高精度三维模型进行单体化和分层处理，实现对模型中每个独立元素的精细管理和交互操作。该资源适合具备一定计算机编程基础的学习者，特别是对Cesium感兴趣的学生、研究人员及GIS行业从业者。通过下载并学习这些源码，用户可以掌握倾斜摄影模型在Cesium中的加载、单体化以及分层显示等关键技术，进而提升自己在三维地理信息系统开发领域的技能水平。

  • Go 的 PostgreSQL 驱动程序和工具包.zip

    Go 的 PostgreSQL 驱动程序和工具包 pgx - PostgreSQL 驱动程序和工具包pgx 是 PostgreSQL 的纯 Go 驱动程序和工具包。pgx 驱动程序是一个低级、高性能接口，它公开了 PostgreSQL 特定的功能，例如LISTEN/ NOTIFY和COPY。它还包括一个标准database/sql接口的适配器。工具包组件是一组相关的软件包，用于实现 PostgreSQL 功能，例如解析线路协议以及 PostgreSQL 与 Go 之间的类型映射。这些底层软件包可用于实现替代驱动程序、代理、负载均衡器、逻辑复制客户端等。示例用法package mainimport ( "context" "fmt" "os" "github.com/jackc/pgx/v5")func main() { // urlExample := "postgres://username:password@localhost:5432/database_name" conn, err := pgx.Connect(context.B

  • C#ASP.NET中小型超市管理系统源码数据库 SQL2012源码类型 WinForm

    ASP.NET中小型超市管理系统源码 超市管理系统是专门为中小型超市打造的管理系统，可以方便管理时更加准确清晰的查看商品信息， 仓库出售与进货的信息，还有每一个部门员工的信息，也更加直观的体现出每一阶段的商品销售情况； 从而提高项目管理水平，实现了工作的协同化、提高了工作效率 二、功能介绍 1.1 UI Requirements界面要求 (1)界面美观，给用户一种很舒心的感觉。 (2)界面所体现出的功能清晰明了，让用户一目了然。 (3)界面的背景颜色搭配符合超市管理系统界面的设计理念。 1.2 UI Requirements界面要求 (1) 使用ADO.NET与数据库交互制作 (2) 使用Visual Studio设计窗体布局 (3) 使用提供的用控件快速开发 1.3 Development Environment 开发环境 (1) 开发工具：Visua

  • 毕设&课程作业_基于C#的易知仓库管理系统.zip

    计算机系毕业设计

  • Go 编程教程的主列表、其撰写、其源代码以及其当前构建状态！.zip

    教程边缘TutorialEdge.net Go 教程 ‍‍欢迎来到 TutorialEdge Go 存储库！此 repo 的目标是能够跟踪所有 Go 教程及其各自的 github repo 位置和构建状态。这些将在 Go 最新版本发布时更新和运行。目录初学者教程中级教程高级教程DevOps项目数据格式并发教程挑战初学者教程这些教程主要针对那些希望提高对 Go 语言工作原理的基本理解的语言新手！教程标题 教程边缘 Github 构建状态 更新日期01 - Go 入门 阅读教程 TutorialEdge/getting-started-with-go 不适用02 - Go 基本类型教程 阅读教程 TutorialEdge/go-basic-types-tutorial 不适用03 - Go 复合类型教程 阅读教程 TutorialEdge/go-complex-types-tutorial 不适用04 - Go 函数教程 阅读教程 TutorialEdge/go-functions-tutorial 2019 年 3 月 27 日

  • 基于JAVA+SpringBoot+Vue+MySQL的敬老院管理系统 源码+数据库(高分毕业设计).zip

    项目已获导师指导并通过的高分毕业设计项目，可作为课程设计和期末大作业，下载即用无需修改，项目完整确保可以运行。 包含：项目源码、数据库脚本、软件工具等，该项目可以作为毕设、课程设计使用，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。 项目都经过严格调试，确保可以运行！可以放心下载 技术组成 语言：java 开发环境：idea 数据库：MySql8.0 部署环境：maven 数据库工具：navicat

  • 基于LSB实现对水印图片，文字等信息的隐藏隐写和提取的DEMO源码(功能包括嵌入水印，提取水印等）.zip

    本资源是一个基于LSB（最低有效位）算法实现的水印图片和文字信息隐藏与提取的DEMO源码。该源码展示了如何将水印图片或文字信息嵌入到宿主图像中，以及如何从宿主图像中提取出隐藏的信息。功能包括嵌入水印和提取水印等操作。通过使用LSB算法，该源码实现了对水印图片和文字信息的隐写和提取。LSB算法是一种常用的图像处理技术，通过修改图像的最低有效位来嵌入额外的信息。在嵌入过程中，源码将水印图片或文字信息转换为二进制数据，并将其嵌入到宿主图像的像素值中。在提取过程中，源码从宿主图像中读取嵌入的二进制数据，并将其转换回原始的水印图片或文字信息。本资源适用于学习和研究图像隐写术的相关领域。通过阅读和运行该源码，用户可以了解LSB算法的原理和应用，掌握如何在图像中隐藏和提取水印图片和文字信息的方法。请注意，本资源仅供学习使用，不得用于任何非法用途。

  • 毕设&课程作业_基于C#的和SQLServer2014的学生成绩管理系统 .zip

    计算机系毕业设计

Global site tag (gtag.js) - Google Analytics