Hadoop是Yahoo发起的一个开源分布式计算工具,大概起于2006年,最新版本为0.20版,但已经很流行了,这足以见得现在的IT届新技术发展是多么地迅猛,开源技术尤甚。不过整个计算机科学也才四十多年历史,整个理论体系离完善还很遥远,所以我辈也不用太自卑(怎么那些家伙这么厉害?),专注与自己的技术路线即可。这好像和Hadoop没啥关系,扯远了。。。
Hadoop主要包括一个分布式文件管理系统HDFS(GPS的一个轻量级实现),以及Map/Reduce(函数式编程)部分。目的主要用来海量数据的处理。
关注Hadoop也有几个月时间了,但一直没太大的进展,还处于一些文档的阅读和单机的实验。最近准备花点时间读读它的源代码,特别是那个分布式文件管理系统。以前研究过一段时间网格计算,但主要用Globus,所以分布式系统的实现还不甚了解,这次要好好整整。。。
Hadoop关联的项目,如Chukwa,HBase,Hive等应该也有点意思。。。
链接:
http://hadoop.apache.org/core/(项目负责人:Doug Cutting)
http://www.hadoop.org.cn/(搞过两次Hadoop沙龙,2009年没怎么更新,学生办的?)
http://cn.hadoop.org/ (Hadoop中文研究院 (群号:12934057)
研究Hadoop,MapReduce,HBase的中文社区,欢迎投稿!!!
)
http://www.hadoop.tw/
阿里ASC也有个网站,不过好像09年也没怎么更新。。。
分享到:
相关推荐
标题中的“hbase&hadoop初探”表明我们将要探讨的是大数据处理领域中的两个关键组件:HBase和Hadoop。这两个技术是Apache软件基金会的重要项目,对于理解和掌握大数据存储与处理有着至关重要的作用。 首先,Hadoop...
Hadoop 集群配置详解 Hadoop_Hadoop集群(第1期...Hadoop_Hadoop集群(第8期)_HDFS初探之旅 Hadoop_Hadoop集群(第9期)_MapReduce初级案例 Hadoop_Hadoop集群(第10期)_MySQL关系数据库 Web(Json-Lib类库使用手册)
Hadoop集群·HDFS初探之旅(第8期) Hadoop集群·MapReduce初级案例(第9期) Hadoop集群·MySQL关系数据库(第10期) Hadoop集群·常用MySQL数据库命令(第10期副刊) Hadoop集群·HBase简介及安装(第11期) ...
hadoop从零开始 细节问题细得不能再细 新手绝对入门的圣经 ...9.细细品味Hadoop_Hadoop集群(第8期)_HDFS初探之旅 10.细细品味Hadoop_Hadoop集群(第9期)_MapReduce初级案例 ........................
为了应对这些挑战,大型商业银行开始尝试基于Hadoop技术构建分布式数据仓库。 Hadoop是一个开源的框架,它允许使用简单的编程模型在大量硬件上存储和处理数据。Hadoop技术主要包括以下几个核心组件: 1. Hadoop...
【大数据与云计算培训学习资料 Hadoop集群 细细品味Hadoop_第8期_HDFS初探之旅 共29页.pdf】 这篇文档是关于Hadoop集群的深入学习资料,特别是针对Hadoop分布式文件系统(HDFS)的初步探索。HDFS是Hadoop项目的核心...
### Hadoop支持下的地理信息大数据处理技术初探 #### 一、引言 随着信息技术的飞速发展,地理信息数据的收集与应用变得越来越广泛。这些数据不仅来源于各种传感器、遥感图像等传统渠道,还可能来自社交媒体、移动...
RPC(RemoteProcedureCall)——远程过程调用,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPCServer实现了一种抽象的RPC服务,同时提供Call队列。RPCServer作为服务提供者由两个...
### IBM企业移动平台初探 #### 一、引言 随着计算技术的不断发展,移动技术已经成为企业不可或缺的一部分。从主机/大型机时代到客户端/服务器架构,再到今天的移动/无线/云计算时代,每一次技术变迁都带来了巨大的...
该文档是虾皮老师(博客园)自己撰写的,觉得很好就分享给大家。... 9)Hadoop集群_第8期_HDFS初探之旅_V1.0 8)Hadoop集群_第9期_MapReduce初级案例_V1.0 10)Hadoop集群_第10期_MySQL关系数据库_V1.0
### CSDN大数据学习班第一节分享:大数据入门技术初探 #### 大数据技术概览 随着信息技术的飞速发展,大数据技术已经成为支撑现代信息化社会的重要基石之一。本篇文章将根据给定的内容,深入探讨大数据的基本概念...
#### 五、Java RMI + Lucene 构建分布式检索应用初探 - **技术组合**:结合 Java Remote Method Invocation (RMI) 和 Lucene 实现分布式检索应用。 - **关键技术点**: - Java RMI 的使用,实现远程方法调用功能。...
特别好的Hadoop教程,基本上等于手把手教了,每一步都非常详细 (第6期)_WordCount运行详解 (第7期)_Eclipse开发环境设置 (第8期)_HDFS初探之旅 (第9期)_MapReduce初级案例 (第10期)_MySQL关系数据库
5、Java RMI + Lucene 构建分布式检索应用初探 ................ - 17 - 6、一对多的表关联在mapreduce中的应用(续) .................. - 26 - 7、InputSplit文件格式分析................................. - 32 -...
在这个课程教学初探中,我们将探讨几个关键的知识点,包括数据科学的基础概念、大数据技术的应用、程序设计语言的选择以及实践教学策略。 首先,我们需要理解数据科学的基本概念。数据科学是一门多学科交叉的领域,...