资讯频道 → 开源软件
阅读更多

1顶
0踩

开源软件

原创新闻 LinkedIn开源大数据计算引擎 Cubert，并为此创建新的语言

2014-11-12 14:56 by 副主编 mengyidan1988 评论(4) 有5228人浏览
Cubert Linkedin

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

【编者按】Linkedin周二宣布开源其大数据计算引擎Cubert，其名字来源于鲁比克方块（Rubik’s Cube），为了让开发人员更容易使用Cubert，而无需做任何形式的自定义编码，Linkedin为此开发了新的编程语言Cubert Script。

以下为译文：

Linkedin周二宣布开源其大数据计算引擎Cubert，这个框架可以使用一种专门的算法来组织数据，让其在没有超系统负荷和浪费CPU资源的情况下，更轻松的运行查询。

Cubert，其名字来源于鲁比克方块（Rubik’s Cube），据悉，它可以作为一个Java应用程序，从而很容易被工程师接受，它包含一个“类似script用户界面”，因此工程师可以在运行查询时，使用诸如MeshJoin 和 Cube算法在组织数据上节省系统资源。

从LinkedIn博客我们知道：
引用
现存引擎Apache Pig、Hive 以及Shark提供一个合乎逻辑的声明性语言，然后被翻译成一个实物计划。这个计划执行分布式引擎（Map-Reduce、Tez 或者Spark），在此物理操作者针对数据分区执行。最后，数据分区将由HDFS提供的文件系统抽象管理。




Cubert 架构

Cubert运行在Hadoop之上，新的框架可以抽象所有的存储到数据块，这将除了让操作者能帮助更好的管理数据之外，还能让其更易于运行它的资源节约算法，例如，COMBINE操作者可以合并多个数据块在一起，PIVOT操作者可以创建数据块的子集。

LinkedIn也创建了一门名为Cubert Script的新语言，其目的是使开发人员更容易使用Cubert，而无需做任何形式的自定义编码。

LinkedIn现在使用Cubert作为一个关键组件来处理数据。当Kafka实时消息传递系统从LinkedIn的众多应用程序中获取所有信息并将其发送到Hadoop，Cubert然后处理这些数据，以确保它不占用系统资源并帮助工程师解决“各种各样的统计、分析和图形计算问题。”

被处理后，数据流向LinkedIn的Pinot实时数据分析系统，然后该公司分析其众多数据跟踪特性，如最近谁查看了用户的资料。



LinkedIn Data Pipeline

现在Cubert已经和LinkedIn的基础设施连接，公司不再担心Hadoop脚本终结“在集群上占用太多资源”或浪费时间去做他们为此应该做的。
  • 大小: 136.5 KB
  • 大小: 32.1 KB
来自: CSDN
1
顶
0
踩
评论 共 4 条 请登录后发表评论
4 楼 a283037321 2014-11-18 08:46
喜欢linkedin
3 楼 diggywang 2014-11-15 14:56
linkedin 在java开源项目方面，贡献还是非常多的
2 楼 cnrainbing 2014-11-14 10:29
LinkedIn真是牛逼啊，都创造语言了！
1 楼 sunway00 2014-11-14 00:58
这什么翻译水准啊，还鲁比克方块，魔方不就完了。

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • COBOL语言程序设计

    最新版国外经典的COBOL语言程序设计教程，分17章，详细介绍了COBOL的语法 ，涵盖了几乎所有的COBOL使用方法，包括详解的实例，为COBOL开发提供有益的参考和学习

  • cobol语言简介

    机缘巧合之下做一个老项目翻新的项目，从cobol到java，我也学习了cobol的一些知识，记载一下我的cobol语言的学习。 cobol语言简介 cobol:common business oriented language(公用面向商业语言)，这个语言目前使用面没有之前的广，也就需要了解对应cobol语言即可。不需要配置对应环境学习。 语言格式 如上图所示，在cobol程序中，1-6 列表示代码的序号区,代表当前序列，类似与行号。7列表示指示符区，如果是*，则表示此行为注释行。 程序结构 co..

  • COBOL语言介绍及使用场景

    COBOL是一种面向业务的通用计算机编程语言，适用于处理商业应用程序和大型企业级系统。它具有可读性强、稳定性和可靠性等优点，但也存在学习曲线陡峭和缺乏现代特性等缺点。COBOL在金融领域、大型企业应用和遗留系统维护等场景中得到广泛应用。

  • 什么是Cobol？

    在这个高速发展的技术时代，我们需要保持开放心态，不断学习和掌握新技术，同时也要敬重和尊重历史上创造出的先进技术。虽然它在当今互联网时代可能显得过时，但在一些传统领域，如finance、保险等，Cobol仍然是一种流行的编程语言。在这篇文章中，我们将介绍Cobol软件开发的一些关键方面，并探讨Cobol在互联网场景下的应用。​虽然Cobol在互联网时代的应用相对较少，但随着finance和保险行业的不断发展，Cobol仍然会持续发挥重要作用。Cobol的特点是：易于使用，易于维护，能够处理大量的数据。

  • cobol-简介

    cobol学习笔记

  • COBOL语言介绍并推荐入门书籍(10本)

    最后，它打印排序后的数组。以上这些书籍都是COBOL语言入门的良好资源，它们提供了不同角度和层次的教学和实践内容，可以根据自己的需求选择适合的书籍进行学习。介绍：这本书是一本经典的COBOL教程，涵盖了COBOL的核心概念和编程技巧，包括模块化编程、文件处理和数据库集成等方面。介绍：这本书适合新手，提供了一个简洁易懂的入门指南，涵盖了COBOL的基础知识，包括语法、数据处理和文件处理等方面。介绍：这本书详细介绍了COBOL的结构化编程方法，通过实例和练习帮助读者理解和掌握COBOL的基本概念和技术。

  • cobol_在尝试之前不要讨厌COBOL

    cobol COBOL是编程语言的Rodney Dangerfield，它不受任何尊重。 它经常因其冗长而被贬低，并被认为是过时的。 然而，COBOL 绝非一成不变的语言 。 它估计处理所有业务交易的85％，并且每年编写50亿行新的COBOL代码。 我作为COBOL程序员工作了10年，但我认为它的声誉不会像人们认为的那样糟糕。 实际上，它非常擅长处理货币和固定格式的记录。 但是COBOL确实...

  • COBOL基础知识

    COBOLChapter 1 : cobol概述COBOL 是Common Business Oriented Language 的缩写。它不仅是商业数据处理的理想语， 而且广泛用于数据管理领域，因此COBOL 语言也被称为“用于管理的语言”。一． COBOL 语言的特点         最适于数据处理领域：算数计算量少而逻辑处理量多，输入输出量大，数据间存在着一定的逻辑  关系，

  • cobol语言----总结篇

    COBOL 是Common Business Oriented Language 的缩写。它不仅是商业数据处理的理想语言， 而且广泛用于数据管理领域，因此COBOL 语言也被称为“用于管理的语言”。 一。COBOL 语言的特点 最适于数据处理领域：算数计算量少而逻辑处理量多，输入输出量大，数据间存在着一定的逻辑 关系，大量的分类排序；COBOL比较接近英语，容易懂；通用性强，易移植,COBOL结构严谨，层次分明。

  • 60 岁的 COBOL 凭什么活到现在？

    COBOL将比我们所有人都活得更久，知道为什么吗？ 作者 |Steven J. Vaughan-Nichols 译者 |风车云马，责编 | 刘静 出品 | CSDN（ID：CSDNnews） 以下为译文： 计算机最初有机器语言和汇编程序，两者在使用上都不容易。自从后来出现了COBOL，一切都变了。 早期计算机语言的由来 我开始是在IBM 360汇编机上编程...

  • 上古语言 COBOL 的程序员库存告急，IBM 出手了

    （给程序员的那些事加星标）原创：程序员的那些事（id：iProgrammer）参考：IBM、Yelp、inputmag、HN疫情对美国影响有多严重？4 月 10日，美国最大点评网站 ...

  • linux 命令 cobol版本,在qshell里运行cobol程序的输出问题

    在qshell里运行cobol程序的输出问题(2011-12-23 06:02:25)标签：程序杂谈在qshell里运行cobol程序的输出问题我是一个标准的cobol+as400的菜鸟。。最近的一个项目的porting，要把cobol程序移植到40gucci香水 insert or selected deletewith the DB2/400 database. To achieve this...

  • 60多岁的COBOL，50岁的码农：今天仍有8000亿行代码！

    ????????关注后回复“进群”，拉你进程序员交流群????????新智元报道编辑：David【新智元导读】COBOL语言已经诞生超过60年了，今天全球依然存在8000亿行代码正在运行，为何它的生命...

Global site tag (gtag.js) - Google Analytics