引用
Posted in Java, FreeBSD/Unix服务器 at 22:06 Author:仲远 浏览量: 3,903
标签:eclipse, Freebsd/Unix服务器, Hadoop, hbase, Java, 云计算
最近我们在通过使用Eclipse3.4版来开发部署Hadoop的工程以及Hbase的工程。不过首要条件是需要先将Hadoop在本地部署起来。在本地下载部署Hadoop源代码的时候,需要注意几点:
1、Hadoop需要在Linux/Unix下进行工程部署
如果打算在Windows下使用Eclipse来部署Hadoop工程,需要安装Linux虚拟环境。所以还是建议直接在Linux下使用Eclipse部署Hadoop。
2、添加两个software update
http://www.polarion.org/projects/subversive/download/eclipse/2.0/update-site/
http://download.eclipse.org/technology/subversive/0.7/update-site/
3、SVN库的地址应该为:
Hadoop: http://svn.apache.org/repos/asf/hadoop/common
而不是:http://svn.apache.org/repos/asf/hadoop/core/
否则SVN库解析的时候总是出错
HBase的SVN库为:http://svn.apache.org/repos/asf/hadoop/hbase
4、Eclipse3.4版与Hadoop项目不兼容的Bug的解决方法
使用Eclipse3.4版为Hadoop工程Build Project的时候,可能会出错,提示“src\contrib\eclipse-plugin\src\java\org\apache\hadoop\eclipse\launch\HadoopApplicationLaunchShortcut.java
*:35: cannot find symbol ”,原因是Hadoop项目与Eclipse3.4有些不兼容。
解决办法是:修改src\contrib\eclipse-plugin\src\java\org\apache\hadoop\eclipse\launch\HadoopApplicationLaunchShortcut.java文件:
(1)将“import org.eclipse.jdt.internal.debug.ui.launcher.JavaApplicationLaunchShortcut;”改为“import org.eclipse.jdt.debug.ui.launchConfigurations.JavaApplicationLaunchShortcut;”
(2)在“// Find an existing or create a launch configuration (Standard way)
ILaunchConfiguration iConf =
super.findLaunchConfiguration(type, configType);”之后,
同时是“ ILaunchConfigurationWorkingCopy iConfWC;
try {”之前,添加一句代码:
“if (iConf == null) iConf = super.createConfiguration(type);”
改完之后的情况为:
ILaunchConfiguration iConf =
super.findLaunchConfiguration(type, configType);
if (iConf == null) iConf = super.createConfiguration(type);
ILaunchConfigurationWorkingCopy iConfWC;
try {
……
5、在Eclipse中编译部署HBase需要修改的配置
右键单击HBase工程,并且选择"Properties->Java Build Path",
(1)从Source tab中Remove所有item,然后使用"Add Folder",添加"src/java"和"src/test"
(2)在Libraries tab中使用"Add Jars",添加"lib"和"lib/jetty-ext"下所有jar包
接下来就可以正确Build HBase Project了。
本文可以自由转载,转载时请保留全文并注明出处:
转载自仲子说 [ http://www.wangzhongyuan.com/ ]
原文链接:http://www.wangzhongyuan.com/archives/724.html
Permalink
» 上一篇:Ubuntu下使用Java调用IKAnalyzer中文分词程序失效的解决方法
» 下一篇:实验室组织去北戴河
分享到:
相关推荐
本次分享的主题为“小米hadoop/hbase微实践”,由小米科技的软件工程师谢良在2013年的第四届中国数据库技术大会上进行分享。演讲内容涉及到Hadoop和HBase的实践经验,以及在小米公司内部存储组的工作经历。小米科技...
Hadoop+HBase集群搭建详细手册 本文将详细介绍如何搭建Hadoop+HBase集群,包括前提准备、机器集群结构分布、硬件环境、软件准备、操作步骤等。 一、前提准备 在搭建Hadoop+HBase集群之前,需要准备以下几个组件:...
在部署Hadoop和HBase时,我们需要构建一个可靠的分布式环境,确保数据的高可用性和容错性。Hadoop的部署通常涉及多台节点,包括NameNode、DataNode、Secondary NameNode等角色,而HBase则有Master、RegionServer等...
对Hadoop中的HDFS、MapReduce、Hbase系列知识的介绍。如果想初略了解Hadoop 可下载观看
在大数据处理领域,Hadoop、HBase和Zookeeper是三个至关重要的组件,它们共同构建了一个高效、可扩展的数据处理和存储环境。以下是关于这些技术及其集群配置的详细知识。 首先,Hadoop是一个开源的分布式计算框架,...
5. Zookeeper:一个分布式协调服务,HBase使用Zookeeper来管理集群状态和元数据。 6. HBase主库:包含HBase的主服务器和RegionServer相关的类,用于操作表和Region。 7. HBase Client:提供Java API,供应用程序连接...
- 在Hadoop集群运行的基础上安装HBase,确保Hadoop的相关环境变量被HBase使用。 - 配置HBase的`hbase-site.xml`以指定Zookeeper地址和集群模式。 - 启动HBase服务,包括Master和RegionServer。 3. **Spark**:...
【Hadoop及Hbase部署与应用】涉及到的关键知识点如下: 1. **Hadoop基础**: - Hadoop是一个开源的分布式计算框架,基于Java开发,主要用于处理和存储大规模数据。它由两个主要组件组成:HDFS(Hadoop Distributed...
大数据集群 Hadoop HBase Hive Sqoop 集群环境安装配置及使用文档 在本文档中,我们将详细介绍如何搭建一个大数据集群环境,包括 Hadoop、HBase、Hive 和 Sqoop 的安装配置及使用。该文档将分为四部分:Hadoop 集群...
hadoop的eclipse插件, 这个插件是经过修改的, 以适应3.4版本的eclipse, 原因是官方的版本只支持3.2
我们将在/home/hadoop/cloud/softwares目录下存放软件安装包,/home/hadoop/cloud/program目录下存放程序文件,/home/hadoop/cloud/data目录下存放数据文件。 二、主机设置 2.1 设置IP地址 我们将使用静态IP地址...
### Hadoop+Hbase技术使用文档关键知识点 #### 一、文档目的 本文档旨在指导用户如何在单节点上安装并配置Hadoop与Hbase,从而实现数据的分布式存储和处理。通过本教程的学习,读者将能够理解并掌握Hadoop与Hbase的...
jdk1.8.0_131、apache-zookeeper-3.8.0、hadoop-3.3.2、hbase-2.4.12 mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 ...
在大数据领域中,Hadoop、HBase和Hive是重要的组件,它们通常需要协同工作以实现数据存储、管理和分析。随着各个软件的版本不断更新,确保不同组件之间的兼容性成为了一个挑战。本文将介绍Hadoop、HBase、Hive以及...
这一步对于后续安装Hadoop、HBase和Hive等组件至关重要,因为这些组件通常需要以特定用户的身份运行,以确保资源隔离和安全。 ### 4. 软件包解压与目录结构 在指定目录下解压Hadoop、HBase和Hive的软件包,是部署...
2. **Hadoop 安装**:如果要在 HDFS 文件系统模式下使用 HBase,则除了 JDK 外,还需要安装 Hadoop。HDFS 是 Hadoop 项目的核心子项目之一,用于提供高效的数据存储和访问能力。本文档所使用的 HBase 版本依赖于 ...
在深入探讨Windows7下使用Eclipse调试Fedora虚拟机上的Hadoop+hBase伪分布式之前,我们首先需要理解这个环境配置的核心要素。本文将详细介绍如何在有限的资源条件下,利用Windows7作为主机,通过VMware虚拟化技术...
1. **下载并解压 HBase 安装包**:将 HBase 的安装包解压到合适的目录,如 `/home/hadoop/hbase-0.98.10`。 2. **配置环境变量**:编辑 `/etc/profile` 文件,添加 HBase 的环境变量: ```bash export HBASE_...