经过几天的苦战,Hadoop-0.20.1+Ubuntu实战终于出炉,本次实战突出两个重点:
1、在原有windows实战的基础上,掌握Hadoop在其主流Linux环境的运行,顺便学习下Ubuntu(咱N年前用过RH,后来就没沾过Linux的边,AIX甚至AS/400倒是实战过);
2、跑通wordcount例子并加以改造,掌握基本开发要点和过程。
几点感受,记下来留作纪念:
1、Linux下开始真有点举步维艰,光是输入法就折腾了我一天,后来装了fcitx,才找到原来在win下行云流水的感觉(我现在就作ubuntu的firefox中使用她打字,还算贴心);
2、安装JAVA环境倒是还顺利,也没什么大风大浪的,但现在我的eclipse3.5还是在有些界面中不听鼠标的,只能用键盘快捷键进行操作,由于重点是调试hadoop,也就暂时忍了,回头再收拾他;
3、Hadoop经我改造的AdvancedWordcount调试了我好几天晚上,一直碰到郁闷的Type Mismatch问题,然后我把整个Hadoop调试环境搭建起来,一步一步跟踪进去,后来才发现是泛型惹的祸,恶补了半个小时的泛型后才发现问题。看来老是跟着IBM、BEA走(IBM我们才用上WAS6.1,之前的版本都只能跑1.4;BEA就更恶心了,客户死活只上816,咋办,开发测试行旁浪只能用1.4),不与时俱进总要翻跟斗的。
令人遗憾的是,Openoffice的文档粘帖到javaeye只能说惨不忍睹,又没有导出为PDF的功能,只能明天用我的工作笔记本来发布出来了。
分享到:
相关推荐
Hadoop-0.20.1+API是一个关于Hadoop早期版本(0.20.1)的API参考文档,以CHM(Compiled Help Manual)格式呈现,适用于那些需要深入理解Hadoop框架以及其编程接口的开发者和系统管理员。CHM文件是一种微软编译的帮助...
Docker(Hadoop_3.3.1+HBase_2.4.16+Zookeeper_3.7.1+Hive_3.1.3 )配置文件 搭建集群环境
Hadoop-2.2.0+Hbase-0.96.2+Hive-0.13.1分布式整合,Hadoop-2.X使用HA方式
在Eclipse中编译和运行Hadoop-0.20.1源码是理解Hadoop工作原理和进行源代码级调试的重要步骤。以下是一个详细的过程,涵盖了从环境准备到源码编译和运行的全部环节。 首先,确保你的开发环境满足必要的前提条件。在...
### Ubuntu 8.10 下 Hadoop-0.20.1 集群配置详细手册 #### 一、集群网络环境介绍 集群由三个节点组成:1个Namenode和2个Datanode,这些节点通过局域网连接,确保它们之间能够互相ping通。以下是各节点的IP地址分配...
此文以命令行+截图的形式详细的记录了Hadoop-2.6.4+Zookeeper-3.4.9+Hbase-1.2.4分布式开发平台的环境配置过程,希望能对大家有所帮助。
### Ubuntu 8.10 下 Hadoop-0.20.1 集群配置详解 #### 一、集群网络环境介绍 本手册主要针对基于 Ubuntu 8.10 的 Hadoop-0.20.1 集群配置进行详细介绍。集群由三个节点组成:1个Namenode(主节点)和2个Datanode...
hadoop-core-0.20.1.jar,用于开发分布式系统的jar包!!
《hadoop-HDFS+MapReduce+Hive+Hbase快速入门》,一门入门hadoop的经典书籍,相信能够给学习云计算的大家带来帮助。
该压缩包文件“hadoop-0.20.1.tar.gz”包含了Hadoop 0.20.1的所有源代码、配置文件、文档和库文件。下载这个版本可能是因为某些用户需要在旧系统上运行或者对比不同版本的功能差异。 Hadoop的核心组件主要包括两个...
从hadoop 0.19.1 升级到 0.20.1时才发现原来0.19.1的插件不能使用,包里没有jar文件,需要自行编译。然而编译出来的jar总是不能用,最后改写一点代码,才可以在Eclipse (europa, galileo)下正常使用。 注意:使用...
maven-hadoop-plugin-0.20.1-sources.jar
maven-hadoop-plugin-0.20.1.jar
标题中的"hadoop-2.6.5 + eclipse附配置hdfs相关文件.zip"指的是一个包含Hadoop 2.6.5版本与Eclipse集成开发环境(IDE)中配置HDFS(Hadoop Distributed File System)相关文件的压缩包。这个压缩包可能是为了帮助...
这里的“hadoop-2.6.0-cdh5.7.0版本”指的是Cloudera的Hadoop发行版,CDH(Cloudera Distribution Including Apache Hadoop)5.7.0中的Hadoop组件为2.6.0版本。这个版本包含了Hadoop生态系统中的多个关键组件,如...
Hadoop 分布式环境搭建指南 本文档将指导您如何搭建 Hadoop 分布式环境,包括安装和配置 Hadoop、ZooKeeper 和 HBase。同时,本文档还将介绍相关的网络配置和 Linux 系统安装。 一、准备环境 1.1 安装 Linux 系统...
在IT行业中,Hadoop是一个广泛使用的开源框架,用于处理和存储大规模数据集。这个压缩包“hadoop-3.1.2+jdk-1.8.0”显然包含了Hadoop 3.1.2版本以及Java开发工具集JDK 1.8.0,这是搭建Hadoop集群所必需的组件。接...
export HADOOP_CONF_HOME=$HADOOP_HOME/etc/hadoop export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop export YARN_HOME=$HADOOP_HOME ``` 在Hadoop的配置阶段,我们需要修改`hadoop-env.sh`、`core-site.xml`、`hdfs-...
这个文档是《云计算之Flume+Kafka+Storm+Redis/Hbase+Hadoop+Hive+Mahout+Spark 技术文档分享V1.0.0》系列的一部分,涵盖了多种云计算技术。 首先,Hadoop-2.2.0是一个开源的分布式计算框架,其核心由HDFS(Hadoop ...