1、引入源代码
下载hbase的源码,用mvn eclipse:eclipse来使工程可导入eclipse,其中需要安装protoc(需要gcc环境)。
导入hbase源码后,hbase-common中的util包中的Bytes类中的importsun.misc.Unsafe;会报错,在eclipse里不能直接编译,要到项目的属性,Java Compiler,Errors/Warnings(点击co)中Forbidden reference(access rules)中设置为warning。如下图所示:
2、安装hbase
3、在hbase的脚本中添加Debug参数
elif [ "$COMMAND" = "master" ] ; then CLASS='org.apache.hadoop.hbase.master.HMaster' if [ "$1" != "stop" ] ; then HBASE_OPTS="$HBASE_OPTS $HBASE_MASTER_OPTS" fi elif [ "$COMMAND" = "regionserver" ] ; then CLASS='org.apache.hadoop.hbase.regionserver.HRegionServer' if [ "$1" != "stop" ] ; then HBASE_OPTS="$HBASE_OPTS $HBASE_REGIONSERVER_OPTS" fi
改成:
elif [ "$COMMAND" = "master" ] ; then CLASS='org.apache.hadoop.hbase.master.HMaster' if [ "$1" != "stop" ] ; then HBASE_OPTS="$HBASE_OPTS $HBASE_MASTER_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=10444" fi elif [ "$COMMAND" = "regionserver" ] ; then CLASS='org.apache.hadoop.hbase.regionserver.HRegionServer' if [ "$1" != "stop" ] ; then HBASE_OPTS="$HBASE_OPTS $HBASE_REGIONSERVER_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=10445" fi
启动hbase后就可以看到debug模式开启,然后只要在eclipse中设置remote Debug,这样就可以监听master和regionserver了,debug时regionserver最好就一台,好调试。
相关推荐
4. **HBase源码**:可以从Apache官网下载HBase的源代码,一般为.zip或.tgz格式的压缩包。 接下来,进行HBase项目配置: 1. **导入HBase源码**:在Eclipse中,通过菜单“File” -> “Import” -> “Existing ...
在深入探讨Windows7下使用Eclipse调试Fedora虚拟机上的Hadoop+hBase伪分布式之前,我们首先需要理解这个环境配置的核心要素。本文将详细介绍如何在有限的资源条件下,利用Windows7作为主机,通过VMware虚拟化技术...
8. 调试与开发:现在你可以在Eclipse中对Zookeeper源代码进行编辑、调试和测试。通过右键单击类文件,选择"Run As" -> "Java Application"来运行Zookeeper服务器。 9. 测试你的改动:在修改了源代码后,你可以通过...
通过导入这个POM文件到Eclipse或其他IDE,用户可以轻松地将源代码作为工程来运行和调试,极大地简化了开发流程。 在研究HBase源码时,我们可以关注以下几个核心概念和组件: 1. **Region服务器**:HBase的主要工作...
- **HBase仓库**:获取HBase的源代码和构建工具。 - **IDEs**:推荐的开发环境,如IntelliJ IDEA或Eclipse。 - **创建HBase**:了解如何从头开始创建新的HBase项目。 以上只是HBase中文API的基础知识,深入学习...
1. **获取源码**:从Hadoop源码仓库获取包含插件的源代码。 2. **构建环境**:确保Eclipse和Maven已经安装,并配置好Maven的环境变量。 3. **导入项目**:在Eclipse中导入Hadoop源码工程。 4. **编译插件**:使用...
6. **集成Spark with Eclipse**:导入Spark源代码到Eclipse,或者创建新的Scala或Java项目,添加Spark库依赖。 7. **配置Hive**:安装Hive及其依赖项,如Hcatalog和HBase(如果需要)。配置HIVE_HOME环境变量,以及...
- 使用`javac`命令编译Java源代码文件,确保`-classpath`参数正确地指定了Hadoop和HBase的`.jar`文件路径。 - 编译后的类文件会被放置在指定的目标目录中。 3. **打包**:使用`jar`命令将编译好的类文件打包成一个...
在弹出的对话框中,通过“Browse”按钮指定Hadoop源代码的路径,例如`common`目录,并为项目命名,如`common`。 接着,我们需要配置项目的Builder,因为Eclipse默认使用Java Builder,但Hadoop项目通常使用Ant构建...
1. 下载Hadoop Eclipse插件:首先,需要找到适用于Eclipse的Hadoop插件下载源,通常可以从Apache官方网站或者第三方开发者社区获取。 2. 安装插件:将下载的插件文件(通常为`.jar`格式)复制到Eclipse的`plugins`...
《大数据技术丛书:...第7章讲解了如何利用Eclipse来编译Hadoop的源代码,以及如何对Hadoop应用进行测试和调试;第8~9章细致地讲解了MapReduce的开发方法和高级应用;第10~12章系统地讲解了Hive、HBase和Mahout。
《大数据技术丛书:...第7章讲解了如何利用Eclipse来编译Hadoop的源代码,以及如何对Hadoop应用进行测试和调试;第8~9章细致地讲解了MapReduce的开发方法和高级应用;第10~12章系统地讲解了Hive、HBase和Mahout。
3 Hadoop源代码eclipse编译教程 7 在Windows上安装Hadoop教程 13 在Linux上安装Hadoop教程 19 在Windows上使用eclipse编写Hadoop应用程序 24 在Windows中使用Cygwin安装HBase 28 Nutch 与Hadoop的整合与部署 31 在...
3. **导入项目到Eclipse**:使用Eclipse导入Hadoop源代码作为Java项目。 4. **解决依赖问题**:可能需要配置Maven或Ant来解决项目的依赖问题。 5. **编译源代码**:使用Eclipse或命令行工具进行编译。 6. **测试编译...
为了在Eclipse中使用这些源代码,你需要首先确保你的开发环境已经配置了Java开发工具(JDK)和Apache Maven,因为Hadoop项目通常使用Maven进行构建。然后,你可以将解压后的“hadoop-2.7.2-src-master”目录导入到...
在Eclipse IDE中开发Spark Core程序,可以利用其强大的代码编辑、调试和项目管理能力,提高开发效率。以下是对Spark Core及其与Eclipse IDE结合使用的详细讲解。 1. **Spark Core简介** Spark Core是Spark的基础,...
### Hadoop源代码eclipse编译教程 对于初学者来说,了解如何编译Hadoop源码对于深入理解Hadoop的工作机制非常有帮助。在Eclipse中编译Hadoop源码的基本步骤如下: 1. **环境准备**:首先确保已经安装了JDK、Maven...
- **Hadoop源代码Eclipse编译教程**:首先需要安装Eclipse IDE,然后配置Eclipse的插件以支持Hadoop开发,接下来下载Hadoop源代码,设置编译路径和依赖库等。 - **在Windows上使用Eclipse编写Hadoop应用程序**:通过...
此外,专刊还提供了源代码级别的Eclipse编译教程,这对于开发者来说尤其重要。通过Eclipse这样的集成开发环境(IDE),可以更方便地编写、测试和调试Hadoop应用程序。教程将指导读者如何设置Hadoop项目,导入相关依赖...