资讯频道 → 开源软件
阅读更多

1顶
0踩

开源软件

原创新闻 Apache Flink ：回顾2015，展望2016

2016-02-16 15:56 by 副主编 mengyidan1988 评论(0) 有6085人浏览
apache Flink

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

回顾2015，总体而言Flink在功能方面已经从一个引擎发展成为最完整的开源流处理框架之一。与此同时，Flink社区也从一个相对较小，并且地理上集中的团队，成长为一个真正的全球性的大型社区，并在Apache软件基金会成为最大的大数据社区之一。接下来看看一些有趣的统计数据，其中就包括Flink每周最繁忙的时间是星期一，肯定出乎很多人所料：）

社区发展

首先，我们从Flink的GitHub库中看一些简单的统计。在2015年，Flink社区规模扩大了一倍，人数从大约75名贡献者超过150名。从2015年2月至2015年12月，其github库的复制数量超过了三倍，从160增长至544，而其star数目的增长也接近3倍，从289增至813。



尽管Flink创建于德国柏林，然而现在其社区遍布全球，拥有来自北美，欧洲以及亚洲的许多贡献者。在著名线下交友网站meetup.com上做一个简单的关于提及Flink作为重点领域的组织的搜索，搜索结果表明全世界有16个这样的组织：



2015 Flink 推进会

毫无疑问，对于Flink而言，2015年的最重要的事件之一就是10月份在柏林举办的Flink 推进会，这是Apache Flink的首次会议。来自谷歌，MongoDB，布依格斯电信，NFLabs，Euranova，RedHat，IBM，华为，Intel，爱立信，Capital One，Zalando，Amadeus，the Otto Group和ResearchGate的250多名的参会者（大约一半总部位于德国以外），参加了超过33的技术会谈。如果你想了解这些技术会议的内容，可以通过Flink Forward网站查看相关幻灯片和视频。



有趣的是，在 2016年 EMEA Hadoop峰会已提交的议题和摘要中， 提及Flink的高达17个议题：



趣味统计：开发人员（提交者）何时提交代码？

为了更深入的了解发生在Flink社区的事情，让我们在这个项目的 git 日志上做一些分析:-) ，最简单的做法是在 git 库中统计2015年提交的总数目。运行如下代码： 
git log --pretty=oneline --after=1/1/2015  | wc -l

2015年Flink git库总共产生2203次提交。为了更深入地探究提交者的行为，我们将使用一个称为gitstats的开源工具进行分析，这将会带来一些有趣的统计结果。你可以通过以下四个简单的步骤来创建并更多了解：

1.从 project homepage..下载gitstats，举个例子：在OS X上使用自带软件，键入: 
brew install --HEAD homebrew/head-only/gitstats

2.克隆Apache Flink git库: 
git clone git@github.com:apache/flink.git

3.利用gitstats产生统计数据: 
gitstats flink/ flink-stats/

4.在你常用的浏览器中（例如：chrome）查看统计页面： 
chrome flink-stats/index.html

首先，我们可以观察到从Apache项目孵化开始，Flink的源代码行数一直平稳增长，在2015年，其代码库几乎翻了一番，源代码行数从500,000增至900,000。



当Flink的开发者提交代码时，可以发现一个有趣的现象，到目前为止，代码都是集中在周一下午进行提交。



功能时间图

下面是一个（非详尽）的时间顺序图，用于显示在2015年，Flink以及Flink生态系统新增了哪些主要功能：



2016年发展蓝图

Flink社区已经开始讨论今后Flink的发展蓝图，下面列举一些主要内容：

流式作业运行时伸缩：流式作业需要不间断运行，并且需要对一个不断变化的环境作出反应。运行时伸缩意味着为了支持特定的服务等级协议，从而动态地增加和减少作业的并行度，或者对输入的吞吐量变化作出反应。

针对静态数据集和数据流的SQL查询：用户以Flink 表 API 为基础，可以通过编写SQL语句查询静态数据集，以及针对数据流进行查询从而连续产生新的结果。

有托管内存支持的流运算：目前，流运算像用户自定义状态和窗口都是由JVM堆对象支持。将这些内容移至Flink托管内存会增加溢出到磁盘的能力，垃圾回收效率的能力，从而可以更好地控制内存的使用。

检测时间事件模式库：在流处理中经常要检测一个时间戳的事件流模式。Flink通过事件时间，对此进行了支持，利用库的形式可以实现很多诸如此类的操作。

对Apache Mesos以及动态资源YARN的支持：同时支持Mesos 以及 YARN，包括动态分配和资源释放，从而获得更多资源弹性（包括批处理和流式处理）。

安全性：对TaskManagers 和 JobManager之间的信息交换以及workers之间的数据交换连接，都进行加密。

更加丰富的流式连接、更多的运行时度量以及连续数据流API增强：支持更多的源和汇（例如，Amazon Kinesis，Cassandra，Flume，等等），给用户提供更多的度量指标，并提供持续改进的数据流API。

如果你对这些功能感兴趣，强烈建议去查看下当前的草案，并加入 Flink 邮件列表讨论。

原文：Flink 2015: A year in review, and a lookout to 2016
译者：郭亚和，从事大数据（spart/storm/hadoop/hbase）相关运维、分析等工作。
  • 大小: 70.7 KB
  • 大小: 59.6 KB
  • 大小: 113 KB
  • 大小: 103.7 KB
  • 大小: 102.2 KB
  • 大小: 74.1 KB
  • 大小: 74.1 KB
1
顶
0
踩
评论 共 0 条 请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 回顾 | Apache Flink 1.9 版本新特性强势预告！（内含PPT下载链接）

    6月29日，Apache Flink Meetup 北京站圆满落幕，Apache Flink 1.9 版本是自 Flink 1.0 之后变化最大的版本，社区对 Flink 进行大量重构并且加入了很多新 Feature。此次 Meetup 重点解读 Flink 1.9 版本新特性。 ▼ ...

  • Apache Flink在 bilibili 的多元化探索与实践

    简介：bilibili 万亿级传输分发架构的落地，以及 AI 领域如何基于 Flink 打造一套完善的预处理实时 Pipeline。 本文由 bilibili 大数据实时平台负责人郑志升分享，本次分享核心讲解万亿级传输分发架构的落地，以及 ...

  • 年度回顾 | 2019 年的 Apache Flink

    2019 年即将落下帷幕，这一年对于 Apache Flink 来说是非常精彩的一年，里程碑式的一年。随着这一年在邮件列表发送了超过 1 万封邮件，JIRA 中超过 4 千个 tickets，以及 GitHub 上超过 3 千个 PR，Apache Flink ...

  • 年度回顾 | 2019 年的 Apache Flink（文末有福利）

    2019 年即将落下帷幕，这一年对于 Apache Flink 来说是非常精彩的一年，里程碑式的一年。随着这一年在邮件列表发送了超过 1 万封邮件，JIRA 中超过 4 千个 ticke...

  • Apache Flink不止于计算，数仓架构或兴起新一轮变革

    作者 | 蔡芳芳 采访嘉宾 | 王峰（莫问） 维基百科的“Apache Flink”词条下，有这么一句描述：“Flink 并不提供自己的数据存储系统，但为 Amazon ...

  • Apache Flink 在 bilibili 的多元化探索与实践

    摘要：本文由 bilibili 大数据实时平台负责人郑志升分享，本次分享核心讲解万亿级传输分发架构的落地，以及 AI 领域如何基于 Flink 打造一套完善的预处理实时 Pipeline。...

  • 精彩回顾 | Apache Flink Meetup · 北京站（附PPT下载）

    9 月 21 日下午，2019 年度最后一场 Meetup 在帝都圆满落幕，来自阿里巴巴、小米、贝壳找房的资深专家们现场分享了小米的 Flink 应用实践、贝壳找房的实时...

  • Apache Paimon 流式数据湖 V 0.4 与后续展望

    阿里云开源大数据表存储团队负责人、阿里巴巴高级技术专家，Apache Flink PMC，Paimon PPMC 李劲松（之信）在 Apache Paimon Meetup 的分享。

  • Apache Flink 不止于计算，数仓架构或兴起新一轮变革

    作者 | 蔡芳芳 采访嘉宾 | 王峰（莫问） 维基百科的“Apache Flink”词条下，有这么一句描述：“Flink 并不提供自己的数据存储系统，但为 Amazon Kin...

  • 人力资源经理绩效考核表.xls

    人力资源经理绩效考核表

  • 智慧环卫管理平台建设方案Word(211页).docx

    一、智慧环卫管理平台的建设背景与目标 智慧环卫管理平台的建设源于对环卫管理全面升级的需求。当前，城管局已拥有139辆配备车载GPS系统、摄像头和油耗传感器的环卫车辆，但环卫人员尚未配备智能移动终端，公厕也缺乏信息化系统和智能终端设备。为了提升环卫作业效率、实现精细化管理并节省开支，智慧环卫管理平台应运而生。该平台旨在通过信息化技术和软硬件设备，如车载智能终端和环卫手机App，实时了解环卫人员、车辆的工作状态、信息和历史记录，使环卫作业管理透明化、精细化。同时，平台还期望通过数据模型搭建和数据研读，实现更合理的环卫动态资源配置，为环卫工作的科学、健康、持续发展提供决策支持。 二、智慧环卫管理平台的建设内容与功能 智慧环卫管理平台的建设内容包括运行机制体制建设、业务流程设计、智慧公厕系统建设、网络建设、主机和储存平台需求、平台运维管理体系、硬件标准规范体系以及考核评价体系等多个方面。其中，智慧公厕系统建设尤为关键，它能实时监控公厕运行状态，保障公厕的清洁和正常运行。平台建设还充分利用了现有的电子政务网络资源，并考虑了有线和无线网络的需求。在功能上，平台通过普查、整合等手段全面收集环卫车辆、企业、人员、设施、设备等数据，建立智慧环卫基础数据库。利用智能传感、卫星定位等技术实现环卫作业的在线监管和远程监控，实现对道路、公共场所等的作业状况和卫生状况的全面监管。此外，平台还建立了环卫作业网格化管理责任机制，实现从作业过程到结果的全面监管，科学评价区域、部门、单位和人员的作业效果。 三、智慧环卫管理平台的效益与风险规避 智慧环卫管理平台的建设将带来显著的环境、经济和管理效益。环境方面，它将有力推进环境卫生监管服务工作，改善环境卫生状况，为人民群众创造更加清洁、卫生的工作和生活环境。经济方面，通过智慧化监管，大大降低了传统管理手段的成本，提高了监管的准确性和效率。管理方面，平台能够追踪溯源市民反映的问题，如公厕异味、渣土车辆抛洒等，并找到相应的责任单位进行处置，防止类似事件再次发生。同时，平台还拥有强大的预警机制功能，能够在很多环卫问题尚未出现前进行处置。然而，平台建设也面临一定的风险，如部门协调、配合问题，建设单位选择风险以及不可预测的自然灾害等。为了规避这些风险，需要加强领导、统一思想，选择优秀的系统集成商承接项目建设，并做好计算机和应用系统的培训工作。同时，也要注意标准制定工作和相关法律法规的制定工作，以保证系统建设完成后能够真正为环卫管理工作带来便利。

  • apache-parent-10-14.el7.x64-86.rpm.tar.gz

    1、文件内容：apache-parent-10-14.el7.rpm以及相关依赖 2、文件形式：tar.gz压缩包 3、安装指令： #Step1、解压 tar -zxvf /mnt/data/output/apache-parent-10-14.el7.tar.gz #Step2、进入解压后的目录，执行安装 sudo rpm -ivh *.rpm 4、安装指导：私信博主，全程指导安装

  • 用于卫星通信的CTS天线

    用于卫星通信的圆极化CTS天线研究

  • 人事档案登记及查询系统.xlsx

    人事档案登记及查询系统

  • 12 -防损部经理绩效考核表1.xlsx

    12 -防损部经理绩效考核表1

  • 泰尔指数模型stata全流程代码+数据+文献(数据权威)

    ## 一、泰尔指数模型stata全流程代码+数据+文献 参考C刊《农业经济问题》朱红根（2023）老师的做法，用泰尔指数是衡量个人或地区之间收入差距的重要指标，本文利用泰尔指数分析中国区域内和区域间数字乡村发展水平的差异，测算了全国总体差异、区域内差异、区域间差异以及相关贡献率。此资料包括stata全流程代码、案例数据、参考文献，用excel计算有标注有过程 ，并且参照文献讲的。 ## 二、2005-2021年城乡收入差距与泰尔指数：原始数据+测算结果 泰尔熵标准(Theil’s entropy measure)或者泰尔指数（Theil index）是衡量个人之间或者地区间收入差距（或者称不平等度）的指标。又称泰尔系数或锡尔指数，但我还是习惯叫泰尔指数。Theil指数用来表示区域经济差异状况，数值越大则差异程度越大。 数据名称：城乡收入差距与泰尔指数（原始数据+测算） 数据年份：2005-2021年 指标变量：泰尔指数、城镇收入占农村收入之比、城镇居民人均可支配收入、农村居民人均可支配收入、乡村人口、全体居民人均可支配收入、城镇人口、年末常住人口 测算公式：

  • 34 -配送部经理绩效考核表1.xlsx

    34 -配送部经理绩效考核表1

  • [2024最新更新]全国城投公司数据大全(数据权威)

    1.资料名称：2021-1998年城投公司数据大全 2.数据指标：序号、公司名称、区域、城投评分、省内排名、最新主体评级、行政等级、 股东背景、股权关系、平台重要性、城投口径、实控人、 总资产（亿元）、 货币资金（亿元）、土地资产（亿元）、受限资产（亿元）、应收账款（亿元） 应收类款项政府占比（%）、营业收入（亿元）、公益性&准公益性主营占比（%）、归母净利润（亿元）、政府补助（亿元）、总资产报酬率（%）、有息债务（亿元）、 短期债务（亿元）、借款（亿元）、债券余额（亿元）、私募债占比（%）、 非标融资（亿元）、资产负债率（%）、债务资本化比率（%） 对外担保比例（%）、EBITDA/利息（倍）、EBITDA全部债务比（%）、授信余额（亿元）、 最新报告期 、申万行业 城投公司是城市建设投资公司的简称，是全国各大城市政府投资融资平台，起源于1991年，承担相应的政府职能，是特殊市场经营体。 此类城投公司大多是不具备盈利能力的，属于事业单位或者国有独资公司性质，他们是通过政府补贴的方式实现盈利，属于带有政府性质的特殊市场经营体。

  • 推广立方连通圈网络的Hamilton分解的算法.pdf

    推广立方连通圈网络的Hamilton分解的算法.pdf

Global site tag (gtag.js) - Google Analytics