阅读更多
【编者按】Linkedin周二宣布开源其大数据计算引擎Cubert,其名字来源于鲁比克方块(Rubik’s Cube),为了让开发人员更容易使用Cubert,而无需做任何形式的自定义编码,Linkedin为此开发了新的编程语言Cubert Script。

以下为译文:

Linkedin周二宣布开源其大数据计算引擎Cubert,这个框架可以使用一种专门的算法来组织数据,让其在没有超系统负荷和浪费CPU资源的情况下,更轻松的运行查询。

Cubert,其名字来源于鲁比克方块(Rubik’s Cube),据悉,它可以作为一个Java应用程序,从而很容易被工程师接受,它包含一个“类似script用户界面”,因此工程师可以在运行查询时,使用诸如MeshJoin 和 Cube算法在组织数据上节省系统资源。

LinkedIn博客我们知道:
引用
现存引擎Apache Pig、Hive 以及Shark提供一个合乎逻辑的声明性语言,然后被翻译成一个实物计划。这个计划执行分布式引擎(Map-Reduce、Tez 或者Spark),在此物理操作者针对数据分区执行。最后,数据分区将由HDFS提供的文件系统抽象管理。




Cubert 架构

Cubert运行在Hadoop之上,新的框架可以抽象所有的存储到数据块,这将除了让操作者能帮助更好的管理数据之外,还能让其更易于运行它的资源节约算法,例如,COMBINE操作者可以合并多个数据块在一起,PIVOT操作者可以创建数据块的子集。

LinkedIn也创建了一门名为Cubert Script的新语言,其目的是使开发人员更容易使用Cubert,而无需做任何形式的自定义编码。

LinkedIn现在使用Cubert作为一个关键组件来处理数据。当Kafka实时消息传递系统从LinkedIn的众多应用程序中获取所有信息并将其发送到Hadoop,Cubert然后处理这些数据,以确保它不占用系统资源并帮助工程师解决“各种各样的统计、分析和图形计算问题。”

被处理后,数据流向LinkedIn的Pinot实时数据分析系统,然后该公司分析其众多数据跟踪特性,如最近谁查看了用户的资料。



LinkedIn Data Pipeline

现在Cubert已经和LinkedIn的基础设施连接,公司不再担心Hadoop脚本终结“在集群上占用太多资源”或浪费时间去做他们为此应该做的。
  • 大小: 136.5 KB
  • 大小: 32.1 KB
来自: CSDN
1
0
评论 共 4 条 请登录后发表评论
4 楼 a283037321 2014-11-18 08:46
喜欢linkedin
3 楼 diggywang 2014-11-15 14:56
linkedin 在java开源项目方面,贡献还是非常多的
2 楼 cnrainbing 2014-11-14 10:29
LinkedIn真是牛逼啊,都创造语言了!
1 楼 sunway00 2014-11-14 00:58
这什么翻译水准啊,还鲁比克方块,魔方不就完了。

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • cobol语言简介

    机缘巧合之下做一个老项目翻新的项目,从cobol到java,我也学习了cobol的一些知识,记载一下我的cobol语言的学习。 cobol语言简介 cobol:common business oriented language(公用面向商业语言),这个语言目前使用面没有之前的广,也就需要了解对应cobol语言即可。不需要配置对应环境学习。 语言格式 如上图所示,在cobol程序中,1-6 列表示代码的序号区,代表当前序列,类似与行号。7列表示指示符区,如果是*,则表示此行为注释行。 程序结构 co..

  • COBOL语言介绍及使用场景

    COBOL是一种面向业务的通用计算机编程语言,适用于处理商业应用程序和大型企业级系统。它具有可读性强、稳定性和可靠性等优点,但也存在学习曲线陡峭和缺乏现代特性等缺点。COBOL在金融领域、大型企业应用和遗留系统维护等场景中得到广泛应用。

  • COBOL语言的文件操作

    COBOL语言以其简洁明了的语法和强大的文件处理能力,成为商业数据处理的主要工具之一。本文通过对COBOL文件操作的详细介绍,帮助读者了解如何在实际编程中有效地进行文件管理与处理。无论是在编写新的程序,还是维护现有的系统,掌握COBOL的文件操作都是一项重要技能。希望通过本文的学习,您能够更深入地探索COBOL语言,运用其优势来解决实际业务问题。

  • 什么是Cobol?

    在这个高速发展的技术时代,我们需要保持开放心态,不断学习和掌握新技术,同时也要敬重和尊重历史上创造出的先进技术。虽然它在当今互联网时代可能显得过时,但在一些传统领域,如finance、保险等,Cobol仍然是一种流行的编程语言。在这篇文章中,我们将介绍Cobol软件开发的一些关键方面,并探讨Cobol在互联网场景下的应用。​虽然Cobol在互联网时代的应用相对较少,但随着finance和保险行业的不断发展,Cobol仍然会持续发挥重要作用。Cobol的特点是:易于使用,易于维护,能够处理大量的数据。

  • cobol-简介

    cobol学习笔记

  • COBOL语言的计算机基础

    在计算机科学的浩瀚海洋中,COBOL(Common Business Oriented Language,通用商业语言)是一颗闪亮的明珠。尽管其诞生已有六十多年的历史,但它在当今商业信息系统中的重要性仍不可小觑。COBOL以其强大的数据处理能力和长久以来的稳定性,成为许多大型企业核心系统的支柱。本文将深入探讨COBOL语言的基本概念、历史背景、语法特点以及在现代社会中的应用场景。

  • cobol_在尝试之前不要讨厌COBOL

    cobol COBOL是编程语言的Rodney Dangerfield,它不受任何尊重。 它经常因其冗长而被贬低,并被认为是过时的。 然而,COBOL 绝非一成不变的语言 。 它估计处理所有业务交易的85%,并且每年编写50亿行新的COBOL代码。 我作为COBOL程序员工作了10年,但我认为它的声誉不会像人们认为的那样糟糕。 实际上,它非常擅长处理货币和固定格式的记录。 但是COBOL确实...

  • 什么是COBOL? COBOL编程说明

    有些技术永不消亡,它们只是逐渐消失在木制品中。 向普通软件开发人员询问有关COBOL(面向通用商业语言)的信息,他们会看着您,就像您提到复写纸,含铅汽油或78 RPM记录一样。 与Go或Python甚至Pascal或C!之类的现代语言相比,COBOL似乎冗长,笨拙,过时。 但是COBOL忍受了。 COBOL绝不是我们与之愉快地过时的过时技术,而是已成为一个机构。 大规模的COBOL代码...

  • COBOL语言介绍并推荐入门书籍(10本)

    最后,它打印排序后的数组。以上这些书籍都是COBOL语言入门的良好资源,它们提供了不同角度和层次的教学和实践内容,可以根据自己的需求选择适合的书籍进行学习。介绍:这本书是一本经典的COBOL教程,涵盖了COBOL的核心概念和编程技巧,包括模块化编程、文件处理和数据库集成等方面。介绍:这本书适合新手,提供了一个简洁易懂的入门指南,涵盖了COBOL的基础知识,包括语法、数据处理和文件处理等方面。介绍:这本书详细介绍了COBOL的结构化编程方法,通过实例和练习帮助读者理解和掌握COBOL的基本概念和技术。

  • cobol基本语法

    cobol基本语法

  • COBOL语言的循环实现

    COBOL是专为商业领域设计的编程语言,以其清晰的语法和强大的数据处理能力而闻名。语言的可读性很高,接近自然语言,因此易于理解和维护。COBOL的程序结构包含多个部分,包括标识部分(IdentificationDivision)、环境部分(EnvironmentDivision)、数据部分(DataDivision)和过程部分(ProcedureDivision)。COBOL特别适合处理大规模的数据集,支持数据文件的读取、写入、更新等基本操作。

  • 6. COBOL的工作环境与工具

    通过这些工具和功能,COBOL的开发环境为开发者提供了一个高效、便捷且功能全面的开发平台,使得COBOL应用程序的开发、测试和维护更加容易和高效。随着技术的不断进步,COBOL的开发环境也在不断地进化和改进,以满足现代开发的需求。通过实施CI/CD,COBOL项目可以提高开发效率,减少人为错误,加快新功能的发布速度,并提高应用程序的稳定性和可靠性。通过有效的版本控制,COBOL项目可以更好地管理代码变更,提高开发效率,促进团队协作,并确保代码的安全性和可靠性。

  • linux 命令 cobol版本,在qshell里运行cobol程序的输出问题

    在qshell里运行cobol程序的输出问题(2011-12-23 06:02:25)标签:程序杂谈在qshell里运行cobol程序的输出问题我是一个标准的cobol+as400的菜鸟。。最近的一个项目的porting,要把cobol程序移植到40gucci香水 insert or selected deletewith the DB2/400 database. To achieve this...

  • C3-COBOL 基本语法

    COBOL 基本语法 2020-09-05 16:57 更新 字符集 字符是层次结构中的最底层,它们不能被进一步划分。在 COBOL 字符集包括 78 个字符,如下所示: 字符 描述 AZ 字母(大写) AZ 字母(小写) 0-9 数字 空格 + 加号 - 减号或连字符 * 星号 / 正斜杠 $ 货币符号 , 逗号 ; 分号 . 小数点或句号 “ 双引号 ( 左括号 ) 右括号 > 大于 < 少于 : 冒号

  • COBOL

    cobol

Global site tag (gtag.js) - Google Analytics