`
coderplay
  • 浏览: 577999 次
  • 性别: Icon_minigender_1
  • 来自: 广州杭州
社区版块
存档分类
最新评论

暨南大学并行计算实验室MapReduce研究现状

阅读更多

4月份在学校花了半小时做的一个ppt,  内容是我们在应用hadoop集群上的一些监控、调试、调优经验, hadoop的改造思路及我们的分布式数据挖掘项目介绍。有一些东西做了删减,请下载附件。

分享到:
评论
6 楼 4998170cc 2012-11-26  
校友呀,哈哈
5 楼 Ahu_425 2009-07-11  
您好,小弟最近在学习怎样把数据挖掘算法应用到Mapreduce框架中,感觉学起来挺费解,主要感觉似乎没有一个应用做支撑,对这方面了解较少,希望能给一个思路或方法,能方便留个交流方式吗?
  这是我的邮箱:zhihu_425@163.com
4 楼 coderplay 2009-05-06  
riddle_chen 写道

同一节点的Child重用jvm 这个调优点在0.19版本里是不是已经通过jobConf.setNumTasksToExecutePerJvm(-1);的方式来实现了?

0.19默认是重用jvm
3 楼 riddle_chen 2009-05-06  
同一节点的Child重用jvm 这个调优点在0.19版本里是不是已经通过jobConf.setNumTasksToExecutePerJvm(-1);的方式来实现了?
2 楼 coderplay 2009-05-05  
conservatism 写道

调优点提的很好。Hadoop改造这块lz已经在用了?

大多数是官方的, 有一些已经做了。
1 楼 conservatism 2009-05-05  
调优点提的很好。Hadoop改造这块lz已经在用了?

相关推荐

    暨南大学并行计算实验室MapReduce研究

    暨南大学并行计算实验室的MapReduce研究现状.ppt文件,很可能是该实验室关于此主题的最新研究成果展示,包括可能的理论分析、实验结果、案例研究以及未来研究方向。这份文档对于理解实验室在MapReduce领域的进展和...

    MapReduce研究现状 .zip

    本文件“MapReduce研究现状.ppt”可能包含对当前MapReduce技术的研究进展、性能优化策略以及针对Hadoop平台的改进意见。 MapReduce的工作原理可以概括为两个主要阶段:Map阶段和Reduce阶段。Map阶段将输入数据分割...

    \"MapReduce研究现状和毕玄-HBase简介与实践分享\"分享总结

    这篇分享总结涵盖了MapReduce的研究现状以及毕玄对于HBase的实践介绍,这两部分的内容对于理解大数据处理的基础设施至关重要。 首先,让我们来深入探讨MapReduce。MapReduce是由Google提出的一种分布式计算模型,它...

    往年试题和重点_并行计算架构与模式

    MapReduce则是一种并行计算编程模型,可以处理大规模数据集。 最后,我们学习了并行程序设计的相关知识点。并行程序设计是指设计并行程序的过程,包括找并发、算法结构设计和实现。我们可以通过并行计算设计...

    google 实验室 mapreduce论文中英版

    这篇论文“google 实验室 mapreduce 论文中英版”包含了MapReduce的核心概念、设计原理以及实际应用,对理解大数据处理有深远的影响。 MapReduce的核心思想是将复杂的并行计算分解为两个主要阶段:Map(映射)和...

    Google云计算原理-并行数据处理模型MapReduce中文PPT

    MapReduce属于分布式内存并行计算的一种,它处理的是分布在不同节点的数据。 **Google MapReduce架构** Google的MapReduce由Jeffrey Dean设计,它的核心是简化了并行编程的复杂性。用户只需关注Map和Reduce两个函数...

    MapReduce研究现状

    MapReduce研究 调试、监控等 优化、扩展等 常用API Hadoop改造 数据挖掘项目Redpoll Canopy, k-means Naive bayes, SVM

    基于MapReduce模型的并行计算平台设计.pdf

    基于MapReduce模型的并行计算平台设计

    大数据实验四-MapReduce编程实践

    ### 大数据实验四-MapReduce编程实践 #### 一、实验内容与目的 ##### 实验内容概述 本次实验的主要内容是使用MapReduce框架来实现WordCount词频统计功能,即统计HDFS(Hadoop Distributed File System)系统中多个...

    实验项目 MapReduce 编程

    实验项目“MapReduce 编程”旨在让学生深入理解并熟练运用MapReduce编程模型,这是大数据处理领域中的核心技术之一。实验内容涵盖了从启动全分布模式的Hadoop集群到编写、运行和分析MapReduce应用程序的全过程。 ...

    分布式并行编程模型MapReduce及其应用研究.pdf

    分布式并行编程模型MapReduce是针对大数据处理提出的一种编程模型,它解决了传统并行编程模型在数据处理、任务分配、单点故障处理等方面的困难。在传统模型中,程序员需要进行大量的程序分析和设计工作,实现并行...

    计算机研究 -基于MapReduce的聚类算法并行化研究.pdf

    在当前信息化社会,随着...总之,基于MapReduce的聚类算法并行化研究是大数据处理领域的重要课题,它有助于我们更好地应对数据洪流带来的挑战,提高数据分析的效率,为科学研究、商业决策等领域提供有力的工具支持。

    KNN分类算法的MapReduce并行化实现1

    实验结果显示,采用MapReduce并行化的KNN算法在Hadoop集群上运行,相比于传统的单机实现,具有更好的加速比和扩展性。这意味着随着硬件资源的增加,处理速度能够线性提升,更有效地应对大数据挑战。 总结来说,KNN...

    基于MapReduce和GPU双重并行计算的云计算模型.pdf

    实验结果显示,这种基于MapReduce和GPU的双重并行计算模型能够显著提升高性能计算的性能,尤其在处理大规模并行任务时。这表明,结合GPU技术的云计算模型在应对大数据挑战时具有显著优势。 总的来说,GPU并行计算与...

Global site tag (gtag.js) - Google Analytics