`
stephen80
  • 浏览: 105179 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

今天设计了hadoop job tracker fault tolerant

阅读更多
1. 以前,不会设计的时候。觉得设计挺难。现在不这么想。
其实,无论设计,编码,知道的多了。
对新的场景,选择一个设计,算法,组合就好了。
那种创新,就是选择和组合,会组合就行。

2. 把设计,映射成代码,也不难,
多用接口,抽象程度高的话,把底层实现得不好的地方,可以随时替换就好了。
代码只要好维护,不发愁。

3. 分布式系统,一致性是关键问题

http://doc.baidu.com/view/78c078eb998fcc22bcd10de6.html















分享到:
评论
1 楼 ansjsun 2012-02-15  
看了你的文章..做的东西..很让人兴奋啊...

相关推荐

    win7下hadoop job提交

    在Windows 7环境下提交Hadoop作业(Job)是一项技术性的任务,涉及到多个步骤和概念。首先,我们需要了解Hadoop的基本架构。Hadoop是由Apache软件基金会开发的一个开源分布式计算框架,它允许在廉价硬件上处理和存储...

    hadoop大数据课程设计

    【标题】"hadoop大数据课程设计"涉及到的核心技术是Hadoop,这是一个开源的分布式计算框架,主要用于处理和存储海量数据。Hadoop的核心组件包括HDFS(Hadoop Distributed File System)和MapReduce,前者提供高容错...

    基于hadoop商品推荐系统课程设计.zip

    《基于Hadoop的商品推荐系统课程设计》 在大数据时代,推荐系统已经成为电商平台不可或缺的一部分,它能够根据用户的历史行为和偏好,智能地为用户提供个性化的产品或服务推荐,从而提高用户满意度和平台的销售业绩...

    课程设计 hadoop集群的安装与配置

    并行程序设计,Hadoop集群的安装与配置。 Hadoop一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个...

    基于Hadoop的电影推荐系统的设计与实现源码(毕业设计)java+Hadoop

    基于Hadoop的电影推荐系统的设计与实现源码(毕业设计)java+Hadoop,使用Hadoop2.7,jdk1.8;分为前台,后台和推荐三个子系统,可直接运行。sql私信

    Hadoop提交Job执行MR程序代码.zip

    本文将详细解析标题为“Hadoop提交Job执行MR程序代码.zip”的内容,涵盖Hadoop MR程序代码、job提交流程以及MR程序的不同运行模式。 首先,Hadoop MapReduce(简称MR)是基于Google的MapReduce编程模型实现的,主要...

    2022毕业设计,基于 Hadoop 的游戏数据分析系统源码.zip

    【标题】:“2022毕业设计,基于 Hadoop 的游戏数据分析系统源码” 这个毕业设计项目主要聚焦于使用Hadoop框架开发一个游戏数据分析系统。Hadoop是Apache软件基金会的一个开源分布式计算平台,专为处理和存储大规模...

    毕业设计-基于Hadoop+Spark的大数据金融信贷风险控系统源码.zip

    毕业设计-基于Hadoop+Spark的大数据金融信贷风险控系统源码.zip毕业设计-基于Hadoop+Spark的大数据金融信贷风险控系统源码.zip毕业设计-基于Hadoop+Spark的大数据金融信贷风险控系统源码.zip毕业设计-基于Hadoop+...

    hadoop课程设计

    【Hadoop课程设计详解】 Hadoop是Apache软件基金会的一个开源分布式计算框架,它以其高效、可扩展性在大数据处理领域占据重要地位。本课程设计旨在深入理解和应用Hadoop技术,帮助学生掌握分布式环境下的数据存储与...

    软件工程课程设计报告Hadoop配置

    【软件工程课程设计报告Hadoop配置】主要涵盖了在软件工程课程中使用Hadoop进行课程设计的相关内容,包括环境搭建、Eclipse中的应用测试、遇到的问题与解决方案以及对Hadoop源码的分析。以下是对这些知识点的详细...

    毕业设计,基于 Hadoop 的游戏数据分析系统

    毕业设计,基于 Hadoop 的游戏数据分析系统毕业设计,基于 Hadoop 的游戏数据分析系统毕业设计,基于 Hadoop 的游戏数据分析系统毕业设计,基于 Hadoop 的游戏数据分析系统毕业设计,基于 Hadoop 的游戏数据分析系统...

    Hadoop集群程序设计与开发教材最终代码.zip

    《Hadoop集群程序设计与开发教材最终代码》这个压缩包文件是针对学习和理解Hadoop分布式计算框架的重要教学资源。Hadoop是Apache软件基金会开发的一个开源项目,它为大规模数据处理提供了一种分布式、容错性强的解决...

    hadoop 分布式云计算 课程设计报告

    【分布式云计算】与【Hadoop】是现代大数据处理的...这样的课程设计有助于学生理解Hadoop生态系统的实际应用,以及如何在实际项目中结合不同的数据库技术进行数据管理。同时,也强调了配置管理和数据访问策略的重要性。

    Hadoop多Job并行处理的实例详解

    在Hadoop环境中,多Job并行处理是一种优化大数据处理效率的关键技术。通过对多个Job的并发执行,可以在集群中更有效地利用资源,缩短整体作业的执行时间。本实例将详细讲解如何实现Hadoop多Job并行处理,并提供相关...

    基于Hadoop的档案共享系统毕业设计(含代码)

    基于Hadoop的档案共享系统是南阳理工学院软件工程专业的一项毕业设计成果,旨在解决传统档案管理方式下信息查找效率低下的问题,通过引入Hadoop这一先进的大数据处理框架,提升档案管理的现代化水平,满足日益增长的...

    基于Hadoop分布式爬虫设计综述.docx

    基于Hadoop分布式爬虫设计综述 Hadoop分布式爬虫设计是当今互联网发展的最大挑战之一,旨在快速高效和安全地让网络用户在浩瀚的信息海洋中找到并获取自己所需的资源。本文主要阐述了基于Hadoop分布式文件系统HDFS...

    Hadoop课程设计,基于Hadoop的好友推荐,在VM虚拟机上搭建CentOS环境(伪分布式)

    【标题】:“Hadoop课程设计,基于Hadoop的好友推荐,在VM虚拟机上搭建CentOS环境(伪分布式)”这一主题涵盖了多个IT领域的关键知识点,包括大数据处理框架Hadoop、虚拟化技术VMware、操作系统CentOS以及数据推荐...

    基于Hadoop数据分析系统设计(需求分析).docx

    总的来说,设计一个基于Hadoop的数据分析系统涉及到多个环节,从需求分析到系统设计,再到具体的部署和优化,每个步骤都需要细致考虑和精心实施。通过这样的系统,企业能够高效地处理和分析海量数据,从而获取有价值...

Global site tag (gtag.js) - Google Analytics