资讯频道 → 开源软件
阅读更多

1顶
0踩

开源软件

原创新闻 Apache Flink ：回顾2015，展望2016

2016-02-16 15:56 by 副主编 mengyidan1988 评论(0) 有6096人浏览
apache Flink

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

回顾2015，总体而言Flink在功能方面已经从一个引擎发展成为最完整的开源流处理框架之一。与此同时，Flink社区也从一个相对较小，并且地理上集中的团队，成长为一个真正的全球性的大型社区，并在Apache软件基金会成为最大的大数据社区之一。接下来看看一些有趣的统计数据，其中就包括Flink每周最繁忙的时间是星期一，肯定出乎很多人所料：）

社区发展

首先，我们从Flink的GitHub库中看一些简单的统计。在2015年，Flink社区规模扩大了一倍，人数从大约75名贡献者超过150名。从2015年2月至2015年12月，其github库的复制数量超过了三倍，从160增长至544，而其star数目的增长也接近3倍，从289增至813。



尽管Flink创建于德国柏林，然而现在其社区遍布全球，拥有来自北美，欧洲以及亚洲的许多贡献者。在著名线下交友网站meetup.com上做一个简单的关于提及Flink作为重点领域的组织的搜索，搜索结果表明全世界有16个这样的组织：



2015 Flink 推进会

毫无疑问，对于Flink而言，2015年的最重要的事件之一就是10月份在柏林举办的Flink 推进会，这是Apache Flink的首次会议。来自谷歌，MongoDB，布依格斯电信，NFLabs，Euranova，RedHat，IBM，华为，Intel，爱立信，Capital One，Zalando，Amadeus，the Otto Group和ResearchGate的250多名的参会者（大约一半总部位于德国以外），参加了超过33的技术会谈。如果你想了解这些技术会议的内容，可以通过Flink Forward网站查看相关幻灯片和视频。



有趣的是，在 2016年 EMEA Hadoop峰会已提交的议题和摘要中， 提及Flink的高达17个议题：



趣味统计：开发人员（提交者）何时提交代码？

为了更深入的了解发生在Flink社区的事情，让我们在这个项目的 git 日志上做一些分析:-) ，最简单的做法是在 git 库中统计2015年提交的总数目。运行如下代码： 
git log --pretty=oneline --after=1/1/2015  | wc -l

2015年Flink git库总共产生2203次提交。为了更深入地探究提交者的行为，我们将使用一个称为gitstats的开源工具进行分析，这将会带来一些有趣的统计结果。你可以通过以下四个简单的步骤来创建并更多了解：

1.从 project homepage..下载gitstats，举个例子：在OS X上使用自带软件，键入: 
brew install --HEAD homebrew/head-only/gitstats

2.克隆Apache Flink git库: 
git clone git@github.com:apache/flink.git

3.利用gitstats产生统计数据: 
gitstats flink/ flink-stats/

4.在你常用的浏览器中（例如：chrome）查看统计页面： 
chrome flink-stats/index.html

首先，我们可以观察到从Apache项目孵化开始，Flink的源代码行数一直平稳增长，在2015年，其代码库几乎翻了一番，源代码行数从500,000增至900,000。



当Flink的开发者提交代码时，可以发现一个有趣的现象，到目前为止，代码都是集中在周一下午进行提交。



功能时间图

下面是一个（非详尽）的时间顺序图，用于显示在2015年，Flink以及Flink生态系统新增了哪些主要功能：



2016年发展蓝图

Flink社区已经开始讨论今后Flink的发展蓝图，下面列举一些主要内容：

流式作业运行时伸缩：流式作业需要不间断运行，并且需要对一个不断变化的环境作出反应。运行时伸缩意味着为了支持特定的服务等级协议，从而动态地增加和减少作业的并行度，或者对输入的吞吐量变化作出反应。

针对静态数据集和数据流的SQL查询：用户以Flink 表 API 为基础，可以通过编写SQL语句查询静态数据集，以及针对数据流进行查询从而连续产生新的结果。

有托管内存支持的流运算：目前，流运算像用户自定义状态和窗口都是由JVM堆对象支持。将这些内容移至Flink托管内存会增加溢出到磁盘的能力，垃圾回收效率的能力，从而可以更好地控制内存的使用。

检测时间事件模式库：在流处理中经常要检测一个时间戳的事件流模式。Flink通过事件时间，对此进行了支持，利用库的形式可以实现很多诸如此类的操作。

对Apache Mesos以及动态资源YARN的支持：同时支持Mesos 以及 YARN，包括动态分配和资源释放，从而获得更多资源弹性（包括批处理和流式处理）。

安全性：对TaskManagers 和 JobManager之间的信息交换以及workers之间的数据交换连接，都进行加密。

更加丰富的流式连接、更多的运行时度量以及连续数据流API增强：支持更多的源和汇（例如，Amazon Kinesis，Cassandra，Flume，等等），给用户提供更多的度量指标，并提供持续改进的数据流API。

如果你对这些功能感兴趣，强烈建议去查看下当前的草案，并加入 Flink 邮件列表讨论。

原文：Flink 2015: A year in review, and a lookout to 2016
译者：郭亚和，从事大数据（spart/storm/hadoop/hbase）相关运维、分析等工作。
  • 大小: 70.7 KB
  • 大小: 59.6 KB
  • 大小: 113 KB
  • 大小: 103.7 KB
  • 大小: 102.2 KB
  • 大小: 74.1 KB
  • 大小: 74.1 KB
1
顶
0
踩
评论 共 0 条 请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 回顾 | Apache Flink 1.9 版本新特性强势预告！（内含PPT下载链接）

    6月29日，Apache Flink Meetup 北京站圆满落幕，Apache Flink 1.9 版本是自 Flink 1.0 之后变化最大的版本，社区对 Flink 进行大量重构并且加入了很多新 Feature。此次 Meetup 重点解读 Flink 1.9 版本新特性。 ▼ ...

  • Apache Flink在 bilibili 的多元化探索与实践

    简介：bilibili 万亿级传输分发架构的落地，以及 AI 领域如何基于 Flink 打造一套完善的预处理实时 Pipeline。 本文由 bilibili 大数据实时平台负责人郑志升分享，本次分享核心讲解万亿级传输分发架构的落地，以及 ...

  • 年度回顾 | 2019 年的 Apache Flink

    2019 年即将落下帷幕，这一年对于 Apache Flink 来说是非常精彩的一年，里程碑式的一年。随着这一年在邮件列表发送了超过 1 万封邮件，JIRA 中超过 4 千个 tickets，以及 GitHub 上超过 3 千个 PR，Apache Flink ...

  • 年度回顾 | 2019 年的 Apache Flink（文末有福利）

    2019 年即将落下帷幕，这一年对于 Apache Flink 来说是非常精彩的一年，里程碑式的一年。随着这一年在邮件列表发送了超过 1 万封邮件，JIRA 中超过 4 千个 ticke...

  • Apache Flink不止于计算，数仓架构或兴起新一轮变革

    作者 | 蔡芳芳 采访嘉宾 | 王峰（莫问） 维基百科的“Apache Flink”词条下，有这么一句描述：“Flink 并不提供自己的数据存储系统，但为 Amazon ...

  • Apache Flink 在 bilibili 的多元化探索与实践

    摘要：本文由 bilibili 大数据实时平台负责人郑志升分享，本次分享核心讲解万亿级传输分发架构的落地，以及 AI 领域如何基于 Flink 打造一套完善的预处理实时 Pipeline。...

  • 精彩回顾 | Apache Flink Meetup · 北京站（附PPT下载）

    9 月 21 日下午，2019 年度最后一场 Meetup 在帝都圆满落幕，来自阿里巴巴、小米、贝壳找房的资深专家们现场分享了小米的 Flink 应用实践、贝壳找房的实时...

  • Apache Paimon 流式数据湖 V 0.4 与后续展望

    阿里云开源大数据表存储团队负责人、阿里巴巴高级技术专家，Apache Flink PMC，Paimon PPMC 李劲松（之信）在 Apache Paimon Meetup 的分享。

  • Apache Flink 不止于计算，数仓架构或兴起新一轮变革

    作者 | 蔡芳芳 采访嘉宾 | 王峰（莫问） 维基百科的“Apache Flink”词条下，有这么一句描述：“Flink 并不提供自己的数据存储系统，但为 Amazon Kin...

  • 基于改进粒子群算法的DG储能选址定容优化模型：解决电力系统时序性问题的可靠程序解决方案,基于改进粒子群算法的DG储能选址定容模型优化解决电力系统问题,DG储能选址定容模型matlab 程序采用改进粒子

    基于改进粒子群算法的DG储能选址定容优化模型：解决电力系统时序性问题的可靠程序解决方案,基于改进粒子群算法的DG储能选址定容模型优化解决电力系统问题,DG储能选址定容模型matlab 程序采用改进粒子群算法，考虑时序性得到分布式和储能的选址定容模型，程序运行可靠 这段程序是一个改进的粒子群算法，主要用于解决电力系统中的优化问题。下面我将对程序进行详细分析。 首先，程序开始时加载了一些数据文件，包括gfjl、fljl、fhjl1、cjgs和fhbl。这些文件可能包含了电力系统的各种参数和数据。 接下来是一些参数的设置，包括三种蓄电池的参数矩阵、迭代次数、种群大小、速度更新参数、惯性权重、储能动作策略和限制条件等。 然后，程序进行了一些初始化操作，包括初始化种群、速度和适应度等。 接下来是主要的迭代过程。程序使用粒子群算法的思想，通过更新粒子的位置和速度来寻找最优解。在每次迭代中，程序计算了每个粒子的适应度，并更新个体最佳位置和全局最佳位置。 在每次迭代中，程序还进行了一些额外的计算，如潮流计算、储能约束等。这些计算可能涉及到电力系统的潮流计算、功率平衡等知识点。 最后，程序输

  • 数学建模相关主题资源2

    数学建模相关主题资源2

  • 实验程序与文档报告撰写指南：科研和工程项目的综合资源介绍及应用技巧

    内容概要：本文详细介绍了一系列用于科学研究、工程项目和技术开发中至关重要的实验程序编写与文档报告撰写的资源和工具。从代码托管平台(GitHub/GitLab/Kaggle/CodeOcean)到云端计算环境(Colab)，以及多种类型的编辑器(LaTeX/Microsoft Word/Overleaf/Typora)，还有涵盖整个研究周期的各种辅助工具：如可视化工具（Tableau）、数据分析平台(R/Pandas)、项目管理工具(Trello/Jira)、数据管理和伦理审核支持(Figshare/IRB等)，最后提供了典型报告的具体结构指导及其范本实例链接(arXiv/PubMed)。这为实验流程中的各个环节提供了系统的解决方案，极大地提高了工作的效率。 适合人群：高校学生、科研工作者、工程技术人员以及从事学术写作的人员，无论是新手入门还是有一定经验的人士都能从中受益。 使用场景及目标：帮助读者高效地准备并开展实验研究活动；促进团队间协作交流；规范研究报告的形式；提高对所收集资料的安全性和隐私保护意识；确保遵循国际公认的伦理准则进行实验。

  • 四轮毂驱动电动汽车稳定性控制策略：基于滑模与模糊神经网络的转矩分配与仿真研究,四轮毂驱动电动汽车稳定性控制：基于滑模与模糊神经网络的转矩分配策略及联合仿真验证,四轮毂驱动电动汽车稳定性控制，分布式驱动

    四轮毂驱动电动汽车稳定性控制策略：基于滑模与模糊神经网络的转矩分配与仿真研究,四轮毂驱动电动汽车稳定性控制：基于滑模与模糊神经网络的转矩分配策略及联合仿真验证,四轮毂驱动电动汽车稳定性控制，分布式驱动转矩分配。 上层基于滑模，模糊神经网络控制器决策横摆力矩，下层基于动态载荷分配，最优分配，平均分配均可做。 simulink与carsim联合仿真。 ,四轮毂驱动;电动汽车稳定性控制;分布式驱动;转矩分配;滑模控制;模糊神经网络控制器;横摆力矩;动态载荷分配;最优分配;平均分配;Simulink仿真;Carsim仿真,四驱电动稳定性控制：滑模与模糊神经网络决策的转矩分配研究

  • PyCharm 安装教程.zip

    本资源提供了一份详细的PyCharm安装教程，涵盖下载、安装、配置、激活及使用步骤，适合新手快速搭建Python开发环境。

  • 233.JSP+SQL金融借贷管理系统.zip

    毕业设计

  • 原版宋体安装文件.ttf

    原版宋体.ttf，原版宋体安装文件，安装方式，直接右键安装。

  • MicroBlaze实现IIC控制器+uart控制器+LED控制，工程源码 vivado2021.1 + vitis2021.1

    利用Xilinx FPGA内嵌的软核处理器MicroBlaze，加上自主编写的AXI_IIC控制器，实现对IMX327传感器IIC总线的控制，同时辅以UART调试串口，实现系统状态的实时监控与调试。

  • 0110_xee_irrigation_index.txt

    在 GEE（Google Earth Engine）中，XEE 包是一个用于处理和分析地理空间数据的工具。以下是对 GEE 中 XEE 包的具体介绍： 主要特性 地理数据处理：提供强大的函数和工具，用于处理遥感影像和其他地理空间数据。 高效计算：利用云计算能力，支持大规模数据集的快速处理。 可视化：内置可视化工具，方便用户查看和分析数据。 集成性：可以与其他 GEE API 和工具无缝集成，支持多种数据源。 适用场景 环境监测：用于监测森林砍伐、城市扩展、水体变化等环境问题。 农业分析：分析作物生长、土地利用变化等农业相关数据。 气候研究：研究气候变化对生态系统和人类活动的影响。

Global site tag (gtag.js) - Google Analytics