1、数据能存下来，hdfs（分布式文件系统）
2、能进行资源调度 yarn
3、能对存下来的大数据进行计算，mapreduce（多个硬盘同时处理）
4、更灵活更快的计算框架 spark sparksql
5、简化map reduce的开发， hive（使用sql的数据仓库）
6、机器学习 Mahout
7、实时处理 storm（缺点是只能处理事先定好的数据和逻辑）
基本架构：hdfs+yarn spark hive mahout
eric_weitm
- 浏览: 244355 次
- 性别:
- 来自: 北京
-
最新评论
-
saiyaren：
你对hiphop的深入程度到了什么程度了？想和你进行探讨一下
facebook hiphop php vm 实现概述 -
eric_weitm：
lj3362569 写道可以再讲具体点么？还有现有的hipho ...
facebook hiphop php vm 实现概述 -
lj3362569：
可以再讲具体点么？还有现有的hiphop不支持哪些功能？
facebook hiphop php vm 实现概述
相关推荐
### Hadoop Hive HBase Spark Storm概念详解 #### Hadoop **Hadoop** 是一个由Apache基金会开发的开源分布式系统基础架构。它通过提供一个高效、可靠且可扩展的平台来解决大数据存储与处理的需求。Hadoop的核心组件...
大数据入门指南Hadoop，Hive，Spark，Storm，Flink，HBase，Kafka，Zookeeper，Flume。包含大数据学习路线、大数据技术栈思维导图、大数据常用软件安装指南、Hadoop、hive、spark等技术的环境搭建、命令实用、集群...
大数据全套视频教程。linux，hadoop，spark，storm，hive，flume,oozie,，hbase，zookeeper，mysql，mongodb，redis，多个项目实践等等，应有尽有。
大数据自动化部署，包括自动化部署hadoop、hive、hbase、spark、storm等等一系列组件BigData_AutomaticDeploy大数据自动化部署，包括自动化部署hadoop、hive、hbase、spark、storm等等一系列组件自动化部署参考资料...
该文档保护了目前比较流行的大数据平台的原理过程梳理。Hadoop，Hive，Hbase，Spark,MapReduce,Storm
本资料主要涵盖了大数据开发以及自动化部署相关的技术，包括Hadoop、Hive、HBase、Spark和Storm等关键组件。这些组件构成了一个全面的大数据处理生态系统，各自承担着不同的职责。 Hadoop是Apache基金会的一个开源...
根据提供的文件信息，我们可以从以下几个方面来探讨与Hadoop、Storm、HBase和Spark相关的知识点。 ### Hadoop #### 1. Hadoop简介 Hadoop是一个开源软件框架，用于分布式存储和处理大型数据集。它由Apache基金会...
大数据相关框架实战项目(Hadoop、Spark、Storm、Flink)大数据相关框架学习本主要仓库存放了一些学习大数据的实战项目代码，项目来源主要来自慕课网1. 环境搭建这里面的项目都可以通过搭建单机独立模式完成整个流程本...
适合人群：从事大数据处理和分析的技术人员，尤其是那些对Hadoop、Spark、Storm等大数据框架有深入了解需求的研发人员。 使用场景及目标：本文档适用于学习和掌握大数据技术的基本原理和实战技巧，帮助技术人员更好...
Hadoop、Storm和Spark都是大数据处理框架，但各自有不同的特点和适用场景。下面将对这三个框架进行详细的区别对比。 Hadoop的核心是HDFS（Hadoop Distributed File System）和MapReduce计算模型。HDFS用于存储大量...
关于大数据的面试题，包括hadoop、hbase、hive、spark、storm、zookeeper、kafka、flume、logstash、redis、ELK、ETL、算法等等，持续更新中访谈_大数据关于大数据的面试题，包括hadoop、hbase、hive、spark、storm...
而在2.x阶段，引入了YARN（Yet Another Resource Negotiator），作为一个资源管理和调度器，使得Hadoop可以支持更多的计算框架，如Tez、Hive、HBase、Pig、Sqoop、Oozie、Zookeeper、Storm、Flume、Ambari和Kafka等...
例如，面试官可能询问Hadoop的副本策略、HBase的Region分裂过程、Spark的RDD（弹性分布式数据集）特性、Storm的拓扑结构、Zookeeper的角色以及Kafka的消费模型等。对这些技术的深入理解，不仅能展现你对大数据生态的...
关于大数据的面试题，包括hadoop、hbase、hive、spark、storm、zookeeper、kafka、flume、logstash、redis、ELK、ETL、算法等等，持续更新中.zip
包括Hadoop、Hive、Spark、Storm、Flink、HBase、Kafka、Zookeeper、Flume、Sqoop等技术的学习 Hadoop 分布式文件存储系统 —— HDFS 分布式计算框架 —— MapReduce 集群资源管理器 —— YARN Hadoop 单机伪集群...
包含 elasticsearch-hadoop-6.6.1.jar elasticsearch-hadoop-hive-6.6.1.jar elasticsearch-spark-20_2.11-6.6.1.jar elasticsearch-storm-6.6.1.jar 等
BigData_AutomaticDeploy大数据自动化部署，包括自动化部署hadoop、hive、hbase、spark、storm等等一系列组件自动化部署参考资料：Ambari——大数据平台的搭建、维护利器：
本部分分为多个项目，会涉及目前比较火的大数据的相关概念，比如说spark，hadoop，mahout，hbase，hive，openstack，storm等，目前主要学习hadoop和mahout，后续有时间和精力的话，会涉及更多，也欢迎大家即使补充...
包含常见大数据技术的资料和视频，例如 hadoop2.x、hive、hbase、flume、storm、spark等，以及mongodb、redis数据库资料等。资源需要下载，解压密码见文件名
hadoop2.0版本安装手册，包含hadoop、hive、hbase、mahout、sqoop、spark、storm、整个体系的安装配置