资讯频道 → 开源软件
阅读更多

13顶
0踩

开源软件

原创新闻 盘点最受欢迎的十个开源大数据技术

2016-08-10 10:52 by 副主编 mengyidan1988 评论(1) 有14880人浏览
hadoop 数据挖掘 大数据

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

引用

原文：Top 10 Big Data Technologies to Start Adopting Today!
作者：Tim Spann 翻译：王嘉怡 责编：仲培艺

大数据已然成为当今最热门的技术之一，正呈爆炸式增长。每天来自全球的新项目如雨后春笋般涌现。幸运地是，开源让越来越多的项目可以直接采用大数据技术，下面就来盘点最受欢迎的十大开源的大数据技术。

1.Hadoop——高效、可靠、可伸缩，能够为你的数据存储项目提供所需的YARN、HDFS和基础架构，并且运行主要的大数据服务和应用程序。

2.Spark——使用简单、支持所有重要的大数据语言（Scala、Python、Java、R）。拥有强大的生态系统，成长迅速，对microbatching/batching/SQL支持简单。Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

3.NiFi——Apache NiFi是由美国国家安全局(NSA)贡献给Apache基金会的开源项目，其设计目标是自动化系统间的数据流。基于其工作流式的编程理念，NiFi非常易于使用、强大、可靠、高可配置。两个最重要的特性是其强大的用户界面和良好的数据回溯工具。堪称大数据工具箱里的瑞士军刀。

4.Apache Hive 2.1——Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。随着最新版本的发布，性能和功能都得到了全面提升，Hive已成为SQL在大数据上的最佳解决方案。

5.Kafka——Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模网站中的所有动作流数据。它已成为大数据系统在异步和分布式消息之间的最佳选择。从Spark到NiFi再到第三方插件工具以至于Java到Scala，它都提供了强大的粘合作用。

6.Phoenix—是HBase的SQL驱动。目前大量的公司采用它，并扩大其规模。HDFS支持的NoSQL能够很好地集成所有工具。Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC结果集。

7.Zeppelin——Zeppelin 是一个提供交互数据分析且基于Web的笔记本。方便你做出可数据驱动的、可交互且可协作的精美文档，并且支持多种语言，包括 Scala(使用 Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、 Markdown、Shell等。

8.Sparkling Water——H2O填补了Spark’s Machine Learning的缺口，它可以满足你所有的机器学习。

9.Apache Beam——在Java中提供统一的数据进程管道开发，并且能够很好地支持Spark和Flink。提供很多在线框架，开发者无需学习太多框架。

10.Stanford CoreNLP——自然语言处理拥有巨大的增长空间，斯坦福正在努力增进他们的框架。
13
顶
0
踩
评论 共 1 条 请登录后发表评论
1 楼 hooljun 2016-11-07 17:05
[flash=200,200][url][b][i][u][u]
引用
引用
[img][list]
[*][url][flash=200,200]
[*]
[i][/i] :roll: :twisted: :evil: :x :P :oops: :cry: :lol: 8) :? :shock:
[*][align=right][align=center][size=xx-small][/size][/align][/align]
[*]
|| |[*]
[/flash][/url]| |[/list][/ :roll: :wink: :cry: :lol: img][/u][/u][/i][/b][/url][/flash]|

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 最受欢迎的十个开源大数据技术

    大数据已然成为当今最热门的技术之一，正呈爆炸式增长。每天来自全球的新项目如雨后春笋般涌现。幸运地是，开源让越来越多的项目可以直接采用大数据技术，下面就来盘点最受欢迎的十大开源的大数据技术。

  • 盘点九大热门开源大数据技术

    随着全球企业和个人数据的爆炸式增长，数据本身正在取代软件和硬件成为驱动信息技术行业和全球经济的下一个大“油田”。 与PC、web等断层式信息技术革命相比，大数据的最大的不同是，这是一场由“开源软件”驱动的...

  • 盘点人气云计算&大数据开源技术变迁

    整个发展过程中，在服务可靠性技术问题得以解决之后，数据归属成为不折不扣的导火索，公有云与私有云之争一度也异常激励，而经过了长时间实践之后，则形成当下公有云、私有云、混合云等解决方案并存的状态...

  • 推荐的五个“非主流”开源大数据技术项目

    大数据的生态系统如今已经非常庞大，涌现大量主流数据处理框架如Hadoop、Spark、Flink、Google的Tensorflow以及其他不计其数的Apache开源项目(最受欢迎的十个开源大数据技术)。 今天我们要推荐的五个“非主流”开源...

  • 程序员需要关注的十个大数据技术

    幸运地是，开源让越来越多的项目可以直接采用大数据技术，下面就来盘点最受欢迎的十大开源的大数据技术。 ①.  Hadoop  ——高效、可靠、可伸缩，能够为你的数据存储项目提供所需的YARN、HDFS和基础架构，...

  • PaddleWeekly | 最受欢迎的开发者开源项目Top5盘点

    点击左上方蓝字关注我们开源发展至今，越来越多的开发者使用开源代码的同时，也开始将自己的项目和代码大方骄傲地分享出来，在开源当中找到了成就和价值。更多的开发者得益于开源的优势，从加入使用，到...

  • 除Hadoop外的9个大数据技术分析盘点

    Hadoop是大数据领域最流行的技术，但并非唯一。还有很多其他技术可用于解决大数据问题。除了Apache Hadoop外，另外9个大数据技术也是必须要了解的。 对大数据以及人工智能概念都是模糊不清的，该按照什么线路去...

  • 盘点微软最受欢迎的10个GitHub项目，最高Star数量 13 万

    在这篇文章中，我们将列出由微软开发和维护的 Top 10 GitHub 开源软件库，排名按照 Star 数量排序（截止 2022 年 5 月 9 日的数据），并附上一些相关的统计数据和简短的官方描述信息。不多说了，让我们开始吧。注：...

  • 十大开源的大数据技术

    幸运地是，开源让越来越多的项目可以直接采用大数据技术，下面就来盘点最受欢迎的十大开源的大数据技术。 1.Hadoop——高效、可靠、可伸缩，能够为你的数据存储项目提供所需的YARN、HDFS和基础架构，并且运行...

  • Matlab下低通切比雪夫I型IIR高通滤波器验证：低频余弦噪声滤波效果仿真图,Matlab 原型低通切比雪夫I型IIR高通滤波器及滤波验证成品 （1型）验证添加的噪声为低频余弦噪声 仿真出图如下

    Matlab下低通切比雪夫I型IIR高通滤波器验证：低频余弦噪声滤波效果仿真图,Matlab 原型低通切比雪夫I型IIR高通滤波器及滤波验证成品。 （1型）验证添加的噪声为低频余弦噪声。 仿真出图如下。 ,Matlab;原型;低通切比雪夫I型;IIR高通滤波器;噪声验证;低频余弦噪声。,Matlab中I型IIR滤波器设计与低频噪声去除验证

  • 级联IIR和FIR滤波器的微波光子滤波器的特性分析.pdf

    级联IIR和FIR滤波器的微波光子滤波器的特性分析.pdf

  • 智能网联环境下城市交通主干线协调控制研究.pdf

    智能网联环境下城市交通主干线协调控制研究.pdf

  • 《已调试》springboot+vue+redis前后端分离网上商城项目003（源码+sql）.zip

    1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md或论文文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。 5、资源来自互联网采集，如有侵权，私聊博主删除。 6、可私信博主看论文后选择购买源代码。

  • Java毕业设计-springboot-vue-医护人员排班系统(源码+sql脚本+29页零基础部署图文详解+27页论文+环境工具+教程+视频+模板).zip

    资源说明： 1：csdn平台资源详情页的文档预览若发现'异常'，属平台多文档切片混合解析和叠加展示风格，请放心使用。 2：29页图文详解文档(从零开始项目全套环境工具安装搭建调试运行部署，保姆级图文详解)，旨在为更多的人甚至零基础的人也能运行、使用和学习。 3：配套毕业论文，万字长文，word文档，支持二次编辑。 4：范例参考答辩ppt，pptx格式，支持二次编辑。 5：工具环境、ppt参考模板、相关电子教程、视频教学资源分享。 6：资源项目源码均已通过严格测试验证，保证能够正常运行，本项目仅用作交流学习参考，请切勿用于商业用途。 7：项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通。 内容概要： 本系统基于 B/S 网络结构，在 IDEA 中开发。服务端用 Java 并借 Spring Boot 框架搭建后台。前台采用支持 HTML5 的 VUE 框架。用 MySQL 存储数据，可靠性强。 能学到什么： 使用Spring Boot搭建后台。VUE 框架构建前端交互界面、前后端数据交互、MySQL管理数据、从零开始环境搭建、调试、运行、打包、部署流程。

  • springboot-汽车配件销售管理系统-kp8i9cgz.zip

    springboot-汽车配件销售管理系统_kp8i9cgz.zip

  • Java毕业设计-springboot-vue-大学生租房平台(源码+sql脚本+29页零基础部署图文详解+37页论文+环境工具+教程+视频+模板).zip

    资源说明： 1：csdn平台资源详情页的文档预览若发现'异常'，属平台多文档切片混合解析和叠加展示风格，请放心使用。 2：29页图文详解文档(从零开始项目全套环境工具安装搭建调试运行部署，保姆级图文详解)，旨在为更多的人甚至零基础的人也能运行、使用和学习。 3：配套毕业论文，万字长文，word文档，支持二次编辑。 4：范例参考答辩ppt，pptx格式，支持二次编辑。 5：工具环境、ppt参考模板、相关电子教程、视频教学资源分享。 6：资源项目源码均已通过严格测试验证，保证能够正常运行，本项目仅用作交流学习参考，请切勿用于商业用途。 7：项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通。 内容概要： 本系统基于 B/S 网络结构，在 IDEA 中开发。服务端用 Java 并借 Spring Boot 框架搭建后台。前台采用支持 HTML5 的 VUE 框架。用 MySQL 存储数据，可靠性强。 能学到什么： 使用Spring Boot搭建后台。VUE 框架构建前端交互界面、前后端数据交互、MySQL管理数据、从零开始环境搭建、调试、运行、打包、部署流程。

  • Java毕业设计-springboot-vue-二手车交易系统(源码+sql脚本+29页零基础部署图文详解+37页论文+18页答辩+环境工具+教程+视频+模板).zip

    资源说明： 1：csdn平台资源详情页的文档预览若发现'异常'，属平台多文档切片混合解析和叠加展示风格，请放心使用。 2：29页图文详解文档(从零开始项目全套环境工具安装搭建调试运行部署，保姆级图文详解)，旨在为更多的人甚至零基础的人也能运行、使用和学习。 3：配套毕业论文，万字长文，word文档，支持二次编辑。 4：配套答辩ppt，pptx格式，支持二次编辑。 5：工具环境、ppt参考模板、相关电子教程、视频教学资源分享。 6：资源项目源码均已通过严格测试验证，保证能够正常运行，本项目仅用作交流学习参考，请切勿用于商业用途。 7：项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通。 内容概要： 本系统基于 B/S 网络结构，在 IDEA 中开发。服务端用 Java 并借 Spring Boot 框架搭建后台。前台采用支持 HTML5 的 VUE 框架。用 MySQL 存储数据，可靠性强。 能学到什么： 使用Spring Boot搭建后台。VUE 框架构建前端交互界面、前后端数据交互、MySQL管理数据、从零开始环境搭建、调试、运行、打包、部署流程。

  • 水下机器人AUV的路径规划及基于模型预测控制MPC的跟踪框架实现与解析,4-IEEE trans顶刊复现，水下机器人AUV的路径规划和基于模型预测控制MPC的跟踪框架 参考文献和建模过程请参考图片中

    水下机器人AUV的路径规划及基于模型预测控制MPC的跟踪框架实现与解析,4-IEEE trans顶刊复现，水下机器人AUV的路径规划和基于模型预测控制MPC的跟踪框架。 参考文献和建模过程请参考图片中的文章，本代码包括路径规划和MPC路径跟踪两个模块，两个模块均采用优化求解器求解，考虑了AUV的水动力学模型，结果是2D空间内的平面路径。 输出的结果请见下图 ,关键词：IEEE trans顶刊复现; 水下机器人AUV; 路径规划; 模型预测控制MPC; 跟踪框架; 优化求解器; 水动力学模型; 2D空间平面路径。,基于IEEE Trans顶刊复现的AUV路径规划与MPC跟踪框架研究

  • 最新总裁导航系统源码 全新重构版强势回归

    总裁导航系统是一款为个人站长打造的专业导航+文章管理系统，以卓越的系统性能，个性的后台操作，丰富的系统功能，解决大多数小白/个人站长想做网站却又不太会的难题

Global site tag (gtag.js) - Google Analytics