资讯月刊下载
[行业应用]
Spark Block存储管理分析
Apache Spark中，对Block的查询、存储管理，是通过唯一的Block ID来进行区分的。所以，了解Block ID的生成规则，能够帮助我们了解Block查询、存储过程中是如何定位Block以及如何处理互斥存储/读取同一个Block的。 可以想到，同一个Spark Application，以及多个运行的Application之间，对应的Block都具有唯一的ID，通过代码可以看到，Blo ...
[行业应用]
Apache Spark 内存管理详解
Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探讨。本文中阐述的原理基于 Spark 2.1 版本，阅读本文需要读者有一定的 Spark 和 Java 基础，了解 RDD、Shuffl ...
[开源软件]
专访 TensorFlow 贡献者唐源：掌握 Google 深度 ...
自 2015 年底开源到如今更快、更灵活、更方便的 1.0 版本正式发布，由 Google 推出的第二代分布式机器学习系统 TensorFlow 一直在为我们带来惊喜，一方面是技术层面持续的迭代演进，从分布式版本、服务框架 TensorFlow Serving、上层封装 TF.Learn 到 Windows 支持、JIT 编译器 XLA、动态计算图框架 Fold 等，以及 Inception Net ...
[数据库]
Apache Spark：大数据处理统一引擎
工业和研究中数据的大幅增长为计算机科学带来了巨大的机会与挑战。由于数据大小超过了单台机器的能力，用户需要新的系统将计算扩展到多个节点。因此，针对不同计算工作负载的新集群编程模型已呈爆炸式增长。 这些模型相对专业化。例如支持批处理的MapReduce，支持迭代图算法的Dreme。在开源Apache Hadoop堆栈中，类似Storm和Impala的系统也是特有的。即使在关系数据库世界中，“一刀切 ...
[开源软件]
Spark 2.0 时代全面到来 —— 2.0.1 版本发布
距离Spark 2.0.0发布两个月后，Spark 2.0.1版本发布了，这是一个修正版本，共处理了300多个Issue，涉及spark稳定性和bug等方面的修复 ，它的发布意味着Spark 2.0接近生产环境使用要求，想要尝试Spark 2.0的可以动手了。 Apache Spark 2.0是基于spark branch-2.x 开发的，相比于branch-1.0，它在功能和性能等方面均有巨大改 ...
[数据库]
超越Spark100倍性能？！不科学呀，它是什么鬼？
2004年，Google的MapReduce论文揭开了大数据处理的时代，现如今，大数据的发展已达到惊人的速度，大数据技术深刻改变了世界。与此同时，各大数据库厂商在大数据这片蓝海里都想多分一杯羹，于是乎，各种数据库开发技术如雨后春笋般孕育而出。众所周知，大数据技术纷杂繁多，而Spark、Hive、Tez、RapidsDB这几款却深受开发者青睐，谈其性能各有千秋： Spark是由UC Berkele ...
[互联网]
浅谈Spark应用程序的性能调优
Spark是基于内存的分布式计算引擎，以处理的高效和稳定著称。然而在实际的应用开发过程中，开发者还是会遇到种种问题，其中一大类就是和性能相关。在本文中，笔者将结合自身实践，谈谈如何尽可能地提高应用程序性能。 分布式计算引擎在调优方面有四个主要关注方向，分别是CPU、内存、网络开销和I/O，其具体调优目标如下： 1.提高CPU利用率。 2.避免OOM。 3.降低网络开销。 4.减少I/O操作。 第1 ...
[互联网]
大规模主题模型：对Spark LDA算法的改进
这篇文章由Databricks的Feynman Liang和Joseph Bradley，以及Intel的Yuhao Yang撰写。 在使用LDA之前，请先下载Spark 1.5或是申请试用版的Databricks。 人们正在推特上讨论什么呢？为了关注分布式计算，我该阅读哪些资讯文章呢？这些问题都能够被话题模型所解答，它是分析文档集所涵盖话题类别的一种技术。本文将要讨论Spark 1.4和1.5 ...
[互联网]
运用Spark加速实时数据分析
Apache Hadoop是一个成熟的开发框架,其连接着庞大的生态系统，并且得到了Cloudera、Hortonwork、Yahoo这些卓越机构的支持与贡献，并且为各个组织提供了许多工具来管理不同大小规则的数据。 在过去，Hadoop中运用MapReduce进行批处理的特性足以满足许多组织的处理需求。然而，随着信息化时代的发展，越来越多组织亟需使用更加快速的数据处理。这些需求来自各个领域的驱动，其 ...
[开源软件]
2015 Bossie评选：最佳的10款开源大数据工具
Bossie奖是知名英文IT网站InfoWorld针对开源软件颁发的年度奖项，根据这些软件对开源界的贡献，以及在业界的影响力评判获奖对象。本次InfoWorld评选出了22款最佳的开源大数据工具，像Spark、Storm都名列榜单之上。 InfoWorld在分布式数据处理、流式数据分析、机器学习以及大规模数据分析领域精选出了2015年的开源工具获奖者，下面我们来简单介绍下这些获奖的技术工具。 ...
[互联网]
Apache Spark 1.5新特性介绍
Apache Spark社区刚刚发布了1.5版本，大家一定想知道这个版本的主要变化，这篇文章告诉你答案。 DataFrame执行后端优化（Tungsten第一阶段） DataFrame可以说是整个Spark项目最核心的部分，在1.5这个开发周期内最大的变化就是Tungsten项目的第一阶段已经完成。主要的变化是由Spark自己来管理内存而不是使用JVM，这样可以避免JVM GC带来的性能损失。内 ...
[数据库]
Apache Spark 不过时的六大理由
在极短的时间内，Apache Spark 迅速成长为大数据分析的技术核心。这就使得保守派担心在这个技术更新如此之快的年代它是否会同样快的被淘汰呢。我反而却坚信，spark仅仅是崭露头角。 在过去的几年时间，随着Hadoop技术爆炸和大数据逐渐占据主流地位，几件事情逐渐明晰： 1.对所有数据而言，Hadoop分布式文件系统（HDFS）是一个直接存储平台。 2.YARN(负责资源分配和管理)是大数据 ...
[数据库]
Spark与Flink：对比与分析
Spark是一种快速、通用的计算集群系统，Spark提出的最主要抽象概念是弹性分布式数据集(RDD)，它是一个元素集合，划分到集群的各个节点上，可以被并行操作。用户也可以让Spark保留一个RDD在内存中，使其能在并行操作中被有效的重复使用。Flink是可扩展的批处理和流式数据处理的数据处理平台，设计思想主要来源于Hadoop、MPP数据库、流式计算系统等，支持增量迭代计算。 原理 Spark ...
[编程语言]
Spark 1.4：SparkR发布，钨丝计划锋芒初露
6月11日（美国时间），Spark 1.4版本正式发布，在Spark Core、Spark Streaming、Spark SQL（DataFrame）、Spark ML/MLlib等升级之外，新版本更加入了数据科学家们望眼欲穿的SparkR组件。长话短说，下面一起看Databricks Blog上关于SparkR的介绍，以及七牛技术总监陈超在ChinaScala微信号上对组件升级的总结。 项目历 ...
[数据库]
Spark 1.3更新概述：176个贡献者，1000+ patches
近日，Databricks正式发布Spark 1.3版本。在此版本中，除下之前我们报道过的DataFrame API，此次升级还覆盖Streaming、ML、SQL等多个组件。当下，1.3版本已在 Apache Spark页面提供下载，下面一起浏览 Patrick Wendell在Databricks Blog上对Spark 1.3版本的概括。 Spark SQL脱离Alpha版本 在1.3版本中 ...
[企业架构]
流式大数据处理的三种框架：Storm，Spark和Samza
许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。 Apache Storm 在Storm中，先要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（master node）分发代码，将任务分配给工作节点（worker node）执行。一个拓扑中包括spo ...
[互联网]
Coursera数据工程师董飞：硅谷大数据的过去与未来
董飞，Coursera数据工程师。曾先后在创业公司酷迅，百度基础架构组，Amazon 云计算部门，LinkedIn担任高级工程师，负责垂直搜索，百度云计算平台研发和广告系统的架构。董飞本科毕业于南开大学，硕士毕业于杜克大学计算机系。他在知乎上分享过多个引起强烈反响的问答，其中包括《哪些硅谷创业公司能给拜访者留下深刻印象》、《美国大数据工程师面试攻略》、《Coursera 上有哪些课程值得推荐》等。 ...
[数据库]
双倍提升Apache Spark排序性能
区别常见的Embarrassingly Parallel系统，类似MapReduce和Apache Spark（Apache Hadoop的下一代数据处理引擎）这样的计算引擎主要区别在于对“all-to-all” 操作的支持上。和许多分布式引擎一样，MapReduce和Spark的操作通常针对的是被分片数据集的子分片，很多操作每次只处理单个数据节点，同时这些操作所涉及到的数据往往都只存在于这个数据片 ...
[编程语言]
ML Pipelines：Spark 1.2中一个用于MLlib的High-Lev ...
在每次版本更新中，除下新算法和性能升级，Databricks在MLlib的易用性上同样投入了大量精力。类似Spark Core，MLlib提供了3个编程语言的API：Python、Java和Scala。除此之外，MLlib同样提供了代码示例，以方便不同背景用户的学习和使用。在Spark 1.2中，通过与AMPLab（UC Berkeley）合作，一个 pipeline API被添加到MLlib，再次 ...