`
mxsfengg
  • 浏览: 209154 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

MapR 让 Hadoop 跑得更快

 
阅读更多

 

     MapR 创造性的使用了更多的大数据分析方法,使得对数据的处理更快了。MapR的专利,无锁储存服务提供了一个分布式读写层,它主要解决了本地文件系统限制、java问题、和单name node节点 引起的限制的问题。MapR极大的提高了MapReduce的吞吐量。底层的存储服务提供了优化的shuffle操作,使得性能提升。为了全面提升性能,MapR在随机IO方面也表现优异,比其他的hadoop版本快得多。

 

 

 

MapR 特性主要包括 include:

  • 使用其他版本一半的硬件,就能比人家快。

  • 更高的MapReduce和HBase的吞吐量。

  • 优化过的shuffle

  • 更高的随机读写(5倍 到 10倍)

  • 自动透明的压缩机制降低了网络数据传输和硬盘读写。

  • 无锁的架构使得性能的提升和机器的数量呈线性关系。

0
1
分享到:
评论

相关推荐

    MapR技术分析文档

    MapR技术分析文档所涉及的知识点主要包括MapR分布式系统、高可用性、Hadoop生态系统以及与Apache Hadoop不同版本的对比分析。下面将对这些方面进行详细解读。 首先,MapR是Hadoop生态系统中的一个重要的分布式平台...

    cluster-validation, 用于验证集群是否已经准备好用于 MapR Hadoop安装的脚本.zip

    cluster-validation, 用于验证集群是否已经准备好用于 MapR Hadoop安装的脚本 群集验证在安装MapR之前,验证MapR将依赖的硬件和软件是非常有价值的。 这样做将验证像磁盘和dimm这样的项目是否按预期执行,并具有已知...

    mapr-puppet:用于部署 MapR Hadoop 发行版的 Puppet 模块,版本 4.x+

    用于部署 MapR Hadoop 发行版的 Puppet 模块。 去做 大多数指令适用于 CentOS,但它们并未在其他目标系统(如 MapR 支持的 Ubuntu 和 SUSE)上进行测试。 确保 ntp 已安装并正在运行。 配置 mysql 和指标数据库。 ...

    Hadoop必将风靡2012年的六个理由

    这种竞争不仅促进了Hadoop技术的发展,也让更多的企业用户开始关注并采用Hadoop。 #### 3. 提升Hadoop的易用性 为了进一步推广Hadoop的应用范围,许多公司开始致力于提升Hadoop的易用性。Cloudera、MapR和...

    大数据之路选择Hadoop还是MaxCompute?Hadoop开源与MaxCompute对比材料

    - **2.x版本系列**:引入了YARN (Yet Another Resource Negotiator),这是一种新的资源管理和任务调度系统,使得Hadoop能够更好地支持多种类型的数据处理应用程序。 此外,市场上还有几家知名的Hadoop发行商,如...

    Hadoop原理——让你快速理解掌握Hadoop

    为何Hadoop是分布式大数据处理的未来?如何掌握Hadoop? Hadoop的历史  始于2002年的apache项目Nutch  2003年Google发表了关于GFS的论文  2004年Nutch的开发者开发了NDFS  2004年Google发表了关于MapReduce的...

    Streaming Architecture New Designs Using Apache Kafka and MapR Streams

    4. SQL支持:通过SQL接口,MapR Streams使得对流数据进行查询和分析变得更加简单。 5. 多用途:MapR Streams不仅支持实时数据处理,还可以用于批处理和历史数据分析。 结合Apache Kafka和MapR Streams,可以构建出...

    Hadoop 2017-07-08 report hadoop选型

    - 小型企业或初创公司可能更倾向于使用开源版本的Apache Hadoop或基于云的服务,如Amazon EMR。 - 不管选择哪种解决方案,都应该充分考虑其长期支持和服务能力。 通过这份详尽的报告,读者可以对2017年市场上的...

    Hadoop面试100题.pdf

    - **知识点说明**:配置机架感知可以让Hadoop更好地利用网络拓扑结构,将数据块尽可能地放在同一机架内的DataNode上,以减少跨机架的数据传输延迟。正确配置机架感知涉及到设置`dfs.hosts`和`dfs.hosts.exclude`等...

    1、hadoop3.1.4简单介绍及部署、简单验证

    在选择 Hadoop 版本时,用户可以选择社区版(如 Apache 提供的版本)或商业版(如 Cloudera、Hortonworks、MapR 等)。商业版通常提供额外的支持、集成服务和管理工具,适合企业级应用,而社区版则更适合开发者和...

    后Hadoop时代的大数据架构

    【后Hadoop时代的大数据架构】是指随着技术的演进,大数据分析平台不再仅依赖于Hadoop单一技术栈,而是出现了更多与之互补的选择。Hadoop作为开源数据分析平台的先驱,自2000年代末至今,历经多次版本迭代,如从0.x...

    Hadoop基础培训教程.pdf

    【大数据的未来】随着技术的不断进步,大数据的应用将更加广泛,包括机器学习、人工智能等领域,大数据将更深入地影响各行各业,为企业决策提供强大的支持,推动社会智能化的发展。Hadoop等大数据技术将继续进化,以...

    Hadoop面试题目及答案.pdf

    标题中的“Hadoop面试题目及答案.pdf”表明这是一个关于Hadoop技术面试的参考资料,而描述中的重复内容似乎是一个格式错误,不影响对主题的理解。标签“互联网”提示了Hadoop在这个领域的重要性,因为它是大数据处理...

    Hadoop in Practice 2nd Edition

    书中特别强调了商业变体如MapR的特点和优势,MapR是一家提供优化Hadoop平台的公司,其技术和解决方案在大数据领域有着重要地位。此外,书中还详细讨论了各种Hadoop的版本和API接口,这对于开发者来说是非常有价值的...

    HADOOP的问题和下一代解决方案

    尽管它是开源且免费的,但技术支持和维护是需要成本的,尤其是对于那些没有庞大工程师团队的公司来说,他们可能会选择购买商业版Hadoop,如HDP、Cloudera和MapR等。这些商业版Hadoop针对开源Hadoop提供了技术支持和...

    基于OPENSTACK私有云平台上的HADOOP完全分布式环境应用研究.pdf

    多家公司如Cloudera、Hortonworks、MapR等已将其商业化,提供企业级解决方案,国内也有许多科技巨头如百度、阿里巴巴等在Hadoop基础上构建自己的大数据平台。 【需求分析】构建Hadoop完全分布式环境通常需要明确的...

    Hadoop各商业发行版之比较.docx

    首先,Cloudera是Hadoop商业化的重要推动者,其产品CDH是基于Apache Hadoop的增强版,提供了更好的兼容性、安全性和稳定性。Cloudera Manager是其集群管理工具,能够快速部署和监控Hadoop集群,而Cloudera Support则...

    Hadoop初级培训-姚锦叙.pdf

    3. **MapR**:MapR基于Hadoop1.x版本,除了包含常见的Hadoop组件之外,还提供了直接的NFS访问、快照功能、高可用性的镜像等功能,进一步增强了Hadoop的实用性和可靠性。 综上所述,Hadoop作为一种高效的分布式计算...

    MASTERING_HADOOP_3.pdf

    这本书不仅介绍了Hadoop的核心概念,还通过案例演练,让读者能够亲自动手,实现大数据处理和分析,从而解锁独特的商业洞察力。 关于Hadoop生态系统,它不仅仅包括Hadoop本身,还包含了一系列相关工具,比如Apache ...

Global site tag (gtag.js) - Google Analytics