`
whoisjackychen
  • 浏览: 13188 次
文章分类
社区版块
存档分类
最新评论

Hadoop初探

 
阅读更多

Hadoop是Yahoo发起的一个开源分布式计算工具,大概起于2006年,最新版本为0.20版,但已经很流行了,这足以见得现在的IT届新技术发展是多么地迅猛,开源技术尤甚。不过整个计算机科学也才四十多年历史,整个理论体系离完善还很遥远,所以我辈也不用太自卑(怎么那些家伙这么厉害?),专注与自己的技术路线即可。这好像和Hadoop没啥关系,扯远了。。。

Hadoop主要包括一个分布式文件管理系统HDFS(GPS的一个轻量级实现),以及Map/Reduce(函数式编程)部分。目的主要用来海量数据的处理。

关注Hadoop也有几个月时间了,但一直没太大的进展,还处于一些文档的阅读和单机的实验。最近准备花点时间读读它的源代码,特别是那个分布式文件管理系统。以前研究过一段时间网格计算,但主要用Globus,所以分布式系统的实现还不甚了解,这次要好好整整。。。

Hadoop关联的项目,如Chukwa,HBase,Hive等应该也有点意思。。。

链接:

http://hadoop.apache.org/core/(项目负责人:Doug Cutting)

http://www.hadoop.org.cn/(搞过两次Hadoop沙龙,2009年没怎么更新,学生办的?)

http://cn.hadoop.org/ (Hadoop中文研究院 (群号:12934057) 研究Hadoop,MapReduce,HBase的中文社区,欢迎投稿!!!

http://www.hadoop.tw/

阿里ASC也有个网站,不过好像09年也没怎么更新。。。

分享到:
评论

相关推荐

    hbase&hadoop初探

    标题中的“hbase&hadoop初探”表明我们将要探讨的是大数据处理领域中的两个关键组件:HBase和Hadoop。这两个技术是Apache软件基金会的重要项目,对于理解和掌握大数据存储与处理有着至关重要的作用。 首先,Hadoop...

    Hadoop集群pdf文档

    Hadoop 集群配置详解 Hadoop_Hadoop集群(第1期...Hadoop_Hadoop集群(第8期)_HDFS初探之旅 Hadoop_Hadoop集群(第9期)_MapReduce初级案例 Hadoop_Hadoop集群(第10期)_MySQL关系数据库 Web(Json-Lib类库使用手册)

    Hadoop集群(1-11期)

    Hadoop集群·HDFS初探之旅(第8期) Hadoop集群·MapReduce初级案例(第9期) Hadoop集群·MySQL关系数据库(第10期) Hadoop集群·常用MySQL数据库命令(第10期副刊) Hadoop集群·HBase简介及安装(第11期) ...

    hadoop入门最好的文档

    hadoop从零开始 细节问题细得不能再细 新手绝对入门的圣经 ...9.细细品味Hadoop_Hadoop集群(第8期)_HDFS初探之旅 10.细细品味Hadoop_Hadoop集群(第9期)_MapReduce初级案例 ........................

    大型商业银行基于Hadoop分布式数据仓库建设初探.pdf

    为了应对这些挑战,大型商业银行开始尝试基于Hadoop技术构建分布式数据仓库。 Hadoop是一个开源的框架,它允许使用简单的编程模型在大量硬件上存储和处理数据。Hadoop技术主要包括以下几个核心组件: 1. Hadoop...

    大数据与云计算培训学习资料 Hadoop集群 细细品味Hadoop_第8期_HDFS初探之旅 共29页.pdf

    【大数据与云计算培训学习资料 Hadoop集群 细细品味Hadoop_第8期_HDFS初探之旅 共29页.pdf】 这篇文档是关于Hadoop集群的深入学习资料,特别是针对Hadoop分布式文件系统(HDFS)的初步探索。HDFS是Hadoop项目的核心...

    Hadoop支持下的地理信息大数据处理技术初探.docx

    ### Hadoop支持下的地理信息大数据处理技术初探 #### 一、引言 随着信息技术的飞速发展,地理信息数据的收集与应用变得越来越广泛。这些数据不仅来源于各种传感器、遥感图像等传统渠道,还可能来自社交媒体、移动...

    hadooprpc机制&&将avro引入hadooprpc机制初探

    RPC(RemoteProcedureCall)——远程过程调用,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPCServer实现了一种抽象的RPC服务,同时提供Call队列。RPCServer作为服务提供者由两个...

    【Hadoop与大数据49】刘达-IBM 企业移动平台初探

    ### IBM企业移动平台初探 #### 一、引言 随着计算技术的不断发展,移动技术已经成为企业不可或缺的一部分。从主机/大型机时代到客户端/服务器架构,再到今天的移动/无线/云计算时代,每一次技术变迁都带来了巨大的...

    虾皮工作室文档 - Hadoop入门教程

    该文档是虾皮老师(博客园)自己撰写的,觉得很好就分享给大家。... 9)Hadoop集群_第8期_HDFS初探之旅_V1.0  8)Hadoop集群_第9期_MapReduce初级案例_V1.0  10)Hadoop集群_第10期_MySQL关系数据库_V1.0

    CSDN大数据学习班第一节分享:大数据入门技术初探

    ### CSDN大数据学习班第一节分享:大数据入门技术初探 #### 大数据技术概览 随着信息技术的飞速发展,大数据技术已经成为支撑现代信息化社会的重要基石之一。本篇文章将根据给定的内容,深入探讨大数据的基本概念...

    大数据技术 Hadoop开发者第二期 MapReduce HDFS Hive Mahout HBase 共64页.pdf

    #### 五、Java RMI + Lucene 构建分布式检索应用初探 - **技术组合**:结合 Java Remote Method Invocation (RMI) 和 Lucene 实现分布式检索应用。 - **关键技术点**: - Java RMI 的使用,实现远程方法调用功能。...

    细细品味Hadoop集群6-10

    特别好的Hadoop教程,基本上等于手把手教了,每一步都非常详细 (第6期)_WordCount运行详解 (第7期)_Eclipse开发环境设置 (第8期)_HDFS初探之旅 (第9期)_MapReduce初级案例 (第10期)_MySQL关系数据库

    hadoop开发者文档

    5、Java RMI + Lucene 构建分布式检索应用初探 ................ - 17 - 6、一对多的表关联在mapreduce中的应用(续) .................. - 26 - 7、InputSplit文件格式分析................................. - 32 -...

    数据科学与大数据技术专业程序设计课程教学初探.zip

    在这个课程教学初探中,我们将探讨几个关键的知识点,包括数据科学的基础概念、大数据技术的应用、程序设计语言的选择以及实践教学策略。 首先,我们需要理解数据科学的基本概念。数据科学是一门多学科交叉的领域,...

Global site tag (gtag.js) - Google Analytics