资讯频道 → 开源软件
阅读更多

13顶
0踩

开源软件

原创新闻 盘点最受欢迎的十个开源大数据技术

2016-08-10 10:52 by 副主编 mengyidan1988 评论(1) 有14866人浏览
hadoop 数据挖掘 大数据

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

引用

原文：Top 10 Big Data Technologies to Start Adopting Today!
作者：Tim Spann 翻译：王嘉怡 责编：仲培艺

大数据已然成为当今最热门的技术之一，正呈爆炸式增长。每天来自全球的新项目如雨后春笋般涌现。幸运地是，开源让越来越多的项目可以直接采用大数据技术，下面就来盘点最受欢迎的十大开源的大数据技术。

1.Hadoop——高效、可靠、可伸缩，能够为你的数据存储项目提供所需的YARN、HDFS和基础架构，并且运行主要的大数据服务和应用程序。

2.Spark——使用简单、支持所有重要的大数据语言（Scala、Python、Java、R）。拥有强大的生态系统，成长迅速，对microbatching/batching/SQL支持简单。Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

3.NiFi——Apache NiFi是由美国国家安全局(NSA)贡献给Apache基金会的开源项目，其设计目标是自动化系统间的数据流。基于其工作流式的编程理念，NiFi非常易于使用、强大、可靠、高可配置。两个最重要的特性是其强大的用户界面和良好的数据回溯工具。堪称大数据工具箱里的瑞士军刀。

4.Apache Hive 2.1——Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。随着最新版本的发布，性能和功能都得到了全面提升，Hive已成为SQL在大数据上的最佳解决方案。

5.Kafka——Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模网站中的所有动作流数据。它已成为大数据系统在异步和分布式消息之间的最佳选择。从Spark到NiFi再到第三方插件工具以至于Java到Scala，它都提供了强大的粘合作用。

6.Phoenix—是HBase的SQL驱动。目前大量的公司采用它，并扩大其规模。HDFS支持的NoSQL能够很好地集成所有工具。Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC结果集。

7.Zeppelin——Zeppelin 是一个提供交互数据分析且基于Web的笔记本。方便你做出可数据驱动的、可交互且可协作的精美文档，并且支持多种语言，包括 Scala(使用 Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、 Markdown、Shell等。

8.Sparkling Water——H2O填补了Spark’s Machine Learning的缺口，它可以满足你所有的机器学习。

9.Apache Beam——在Java中提供统一的数据进程管道开发，并且能够很好地支持Spark和Flink。提供很多在线框架，开发者无需学习太多框架。

10.Stanford CoreNLP——自然语言处理拥有巨大的增长空间，斯坦福正在努力增进他们的框架。
13
顶
0
踩
评论 共 1 条 请登录后发表评论
1 楼 hooljun 2016-11-07 17:05
[flash=200,200][url][b][i][u][u]
引用
引用
[img][list]
[*][url][flash=200,200]
[*]
[i][/i] :roll: :twisted: :evil: :x :P :oops: :cry: :lol: 8) :? :shock:
[*][align=right][align=center][size=xx-small][/size][/align][/align]
[*]
|| |[*]
[/flash][/url]| |[/list][/ :roll: :wink: :cry: :lol: img][/u][/u][/i][/b][/url][/flash]|

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 最受欢迎的十个开源大数据技术

    大数据已然成为当今最热门的技术之一，正呈爆炸式增长。每天来自全球的新项目如雨后春笋般涌现。幸运地是，开源让越来越多的项目可以直接采用大数据技术，下面就来盘点最受欢迎的十大开源的大数据技术。

  • 盘点九大热门开源大数据技术

    随着全球企业和个人数据的爆炸式增长，数据本身正在取代软件和硬件成为驱动信息技术行业和全球经济的下一个大“油田”。 与PC、web等断层式信息技术革命相比，大数据的最大的不同是，这是一场由“开源软件”驱动的...

  • 盘点人气云计算&大数据开源技术变迁

    整个发展过程中，在服务可靠性技术问题得以解决之后，数据归属成为不折不扣的导火索，公有云与私有云之争一度也异常激励，而经过了长时间实践之后，则形成当下公有云、私有云、混合云等解决方案并存的状态...

  • 推荐的五个“非主流”开源大数据技术项目

    大数据的生态系统如今已经非常庞大，涌现大量主流数据处理框架如Hadoop、Spark、Flink、Google的Tensorflow以及其他不计其数的Apache开源项目(最受欢迎的十个开源大数据技术)。 今天我们要推荐的五个“非主流”开源...

  • 程序员需要关注的十个大数据技术

    幸运地是，开源让越来越多的项目可以直接采用大数据技术，下面就来盘点最受欢迎的十大开源的大数据技术。 ①.  Hadoop  ——高效、可靠、可伸缩，能够为你的数据存储项目提供所需的YARN、HDFS和基础架构，...

  • PaddleWeekly | 最受欢迎的开发者开源项目Top5盘点

    点击左上方蓝字关注我们开源发展至今，越来越多的开发者使用开源代码的同时，也开始将自己的项目和代码大方骄傲地分享出来，在开源当中找到了成就和价值。更多的开发者得益于开源的优势，从加入使用，到...

  • 除Hadoop外的9个大数据技术分析盘点

    Hadoop是大数据领域最流行的技术，但并非唯一。还有很多其他技术可用于解决大数据问题。除了Apache Hadoop外，另外9个大数据技术也是必须要了解的。 对大数据以及人工智能概念都是模糊不清的，该按照什么线路去...

  • 盘点微软最受欢迎的10个GitHub项目，最高Star数量 13 万

    在这篇文章中，我们将列出由微软开发和维护的 Top 10 GitHub 开源软件库，排名按照 Star 数量排序（截止 2022 年 5 月 9 日的数据），并附上一些相关的统计数据和简短的官方描述信息。不多说了，让我们开始吧。注：...

  • 十大开源的大数据技术

    幸运地是，开源让越来越多的项目可以直接采用大数据技术，下面就来盘点最受欢迎的十大开源的大数据技术。 1.Hadoop——高效、可靠、可伸缩，能够为你的数据存储项目提供所需的YARN、HDFS和基础架构，并且运行...

  • Python项目-自动办公-59 PPT_pptx_在PPT中写入图片和表格.zip

    Python课程设计，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，该项目可以作为毕设、课程设计使用，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。

  • Python项目-实例-20 快递查询.zip

    Python课程设计，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，该项目可以作为毕设、课程设计使用，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。

  • 杂货产品检测43-YOLO（v5至v9）、CreateML、Paligemma、TFRecord、VOC数据集合集.rar

    杂货产品检测43-YOLO（v5至v9）、CreateML、Paligemma、TFRecord、VOC数据集合集.rarIPCV分配-V6 2024-01-21 6:10 PM ============================= *与您的团队在计算机视觉项目上合作 *收集和组织图像 *了解和搜索非结构化图像数据 *注释，创建数据集 *导出，训练和部署计算机视觉模型 *使用主动学习随着时间的推移改善数据集 对于最先进的计算机视觉培训笔记本，您可以与此数据集一起使用 该数据集包括7012张图像。 家庭废物以createMl格式注释。 将以下预处理应用于每个图像： *像素数据的自动取向（带有Exif-Arientation剥离） *调整大小为640x640（拉伸） 没有应用图像增强技术。

  • 绝对给力的源码，在线音乐播放器完整项目.zip

    Android 毕业设计，Android 毕业设计，小Android 程设计，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，该项目可以作为毕设、课程设计使用，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。

  • 毕业设计-0-1背包问题动态规划模型Python代码.rar

    1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、本项目仅用作交流学习参考，请切勿用于商业用途。

  • 保质量的周期边界2dAllen-Cahn方程求解器:纯隐格式迭代解

    谁喜欢谁下载,没啥商业价值,comsol也能做,不过我这产量更大

  • Python项目-游戏源码-10 植物大战僵尸.zip

    Python课程设计，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，该项目可以作为毕设、课程设计使用，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。

  • 实现获取视频的缩略图（ThumbnailUtils），并且播放.zip

    Android 毕业设计，Android 毕业设计，小Android 程设计，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，该项目可以作为毕设、课程设计使用，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。

  • 推箱子Python小游戏

    推箱子Python小游戏

  • 基于ssm的新媒体视域下的中国古诗词展演源代码（java+vue+mysql+说明文档+LW）.zip

    该新媒体视域下的中国古诗词展演主要为管理员和用户两类用户角色提供需求，管理员在后台可以对系统进行全面管理，用户在前台可以进行查看系统信息，注册登录，查询校园失物，评论，下载校园失物等操作。 项目包含完整前后端源码和数据库文件 环境说明： 开发语言：Java 框架：ssm，mybatis JDK版本：JDK1.8 数据库：mysql 5.7 数据库工具：Navicat11 开发软件：eclipse/idea Maven包：Maven3.3 部署容器：tomcat7

Global site tag (gtag.js) - Google Analytics