测试环境上hbase采用maven编译,只要安装了maven就行.
在hbase目录下mvn package -Dmaven.test.skip.exec=true编译好的jar放在target
目录下,将jia包替换以后。
1.重启集群发现一个问题:HMaster启动了,但是Regionserver没有起来
后来分析maven编译之前时候会把依赖都下到.m2/目录下,Hbase集群在启动的时候会首先从该目录下寻找jar包,而其中的一个hadoop的core jar包与集群的hbase版本冲突,因此编译以后不能启动。
解决方法:对maven不了解不知道怎么去修改寻找路劲,所以采取了一个笨方法,编译结束以后删除.m2文件夹。就可以顺利启动集群了。
2.eclipse下maven编译hbase
还是maven的问题:从svn上下载下来的maven工程,直接编译报错:No goals have been specified for this build
网上查了一下,eclipse在使用maven 插件的时候需要配置defaultgoal
于是在pom.xml的build下添加<defaultgoal>install</defaultgoal>
再编译提示Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.3:run (generate) on project hbase: An Ant BuildException has occured: Execute failed: java.io.IOException: Cannot run program "sh":
找到<exec executable="sh"><arg line="${basedir}/src/saveVersion.sh ${project.version} ${generated.sources}" /></exec>
将其注释掉,而后执行maven build skip test,顺利编译。
copy到环境上发现hbase master起来了,而regionserver没有启动。
hbase-site.xml配置的是0.90.3而编译后的版本是0.90.2以为版本不兼容,故把hbase-site.xml修改,重启报错,启动的时候报错,default.xml 版本高于0.90.2。在代码中把验证版本的代码注释掉,而后重新编译jar,部署到环境上,base-site.xml为0.90.3此时hbase成功启动。
另外ms如果不对代码进行修改,直接编译的话target目录下面是不会有jar生成的,很是蛋疼
环境配置真是烦人啊~~~
分享到:
相关推荐
4. 编译过程中可能会遇到依赖问题,根据错误信息解决缺失的依赖。 5. 编译完成后,生成的可执行文件通常位于 `target` 目录下。 通过以上步骤,你可以成功地将 Kettle 5.2 源码编译成可运行的版本,从而进行自定义...
如果在构建过程中遇到问题,可能需要手动解决依赖冲突。 4. **编译源码**:执行`mvn compile`命令,这会编译源代码并生成相应的类文件。注意,编译过程可能需要较长时间,取决于硬件性能和网络状况。 5. **测试...
在本文中,我们将深入探讨如何搭建一个Zookeeper和HBase集群,以及在过程中可能遇到的常见问题和解决方案。Zookeeper和HBase都是大数据处理领域的关键组件,Zookeeper作为一个分布式协调服务,而HBase是一个基于...
然而,有时候在尝试通过`from hbase import Hbase`导入HBase模块时,可能会遇到`ImportError`,这通常是由于Python标准库中的hbase模块存在问题或不兼容。 为了解决这个问题,开发者通常会寻找替代方案,其中两个...
在整个过程中,确保所有组件的版本兼容,例如HBase与Hadoop、Sqoop与Hadoop之间的版本匹配。同时,监控数据导入导出的性能和可能遇到的问题,如网络延迟、数据一致性等。理解这些操作背后的原理和优化技巧,对于高效...
编译Ranger时,可能需要依赖各种库和工具,配置环境变量,以及解决编译过程中的冲突和错误,这些都可能导致编译失败。因此,这个预编译的插件对于那些不熟悉或者不愿意经历编译流程的用户来说非常有价值。 标签...
对于Hadoop、HBase和Hive的版本对应关系问题,新手朋友们在入门时除了参考这些官方的文档以外,还可以通过查找社区论坛、博客文章等了解他人在升级过程中遇到的问题和解决方案,这将大大降低尝试和错误成本,快速...
- **实施过程**:包括设计思路、实现步骤以及遇到的问题和解决方案。 - **性能测试**:通过一系列测试验证了HBase在处理大规模数据集时的表现。 #### 四、小结 - 《hbase权威指南》不仅是一本详尽的技术手册,也...
6. **编译过程**:在CentOS 64位系统上编译Hadoop CDH5的本地库,一般需要安装必要的依赖,如GCC编译器、Java开发工具包(JDK)、CMake等,然后通过源码编译Hadoop及相关组件。 7. **替换问题**:在升级或安装过程中...
- 在编译过程中,记录每一步的详细操作,以便于复现或分享解决方案。 - 保持Spark和HBase的版本同步更新,以减少兼容性问题。 通过以上步骤,我们不仅可以解决PySpark访问HBase2的错误,还能更深入地理解Spark和...
在CDH 6.3.2中,Ranger的编译过程可能会遇到各种问题,如依赖库版本不匹配、配置文件冲突等。因此,提供预编译的Ranger包可以节省用户大量的时间和精力,避免了可能的编译错误,使得安装和部署过程更为简便。 ...
### Hadoop与HBase分布式配置及整合Eclipse开发详解...尽管文中提供了详细的步骤,但在实际操作过程中可能会遇到各种问题,需要读者灵活应对。此外,考虑到技术的快速发展,建议读者参考最新的官方文档进行配置和开发。
四、 Hadoop Snappy 源码编译过程 在 Hadoop 集群上,需要编译 Snappy 压缩算法的源码,以便使用 Snappy 压缩算法。 1. 下载 Hadoop Snappy 源码,下载地址:http://code.google.com/p/hadoop-snappy/。 2. 编译 ...
【Hadoop环境搭建】 在构建一个完整的Hadoop生态系统时,我们需要搭建多个组件,包括Zookeeper、HBase、Hive、MySQL、Kafka以及Spark,并且...在实际操作中,可能还会遇到各种问题,需要根据错误日志进行排查和解决。
你提到的"成功编译后的文件"意味着你已经完成了这一过程,克服了可能遇到的依赖冲突、版本不兼容等问题,这通常需要对Spark源码和构建工具(如Maven或Gradle)有深入理解。编译后的Spark二进制包包含了运行Spark所需...
12. 常见问题FAQ:在搭建和运行Hadoop云平台过程中可能会遇到一些常见问题,如关于HADOOP_HOME环境变量过时的警告、DataNode无法停止的问题、Slave服务器中DataNode服务自动关闭的问题等,提供这些问题的解决方法有...
"atlas2-2-0版本排除重复.txt"可能是一个记录了2.2.0版本升级过程中需要注意的重复或冲突问题的文本文件,帮助用户避免在升级过程中遇到的问题。 总结来说,Apache Atlas 2.2.0 提供了一套全面的数据治理解决方案,...
在编译过程中,确保网络连接通畅非常重要,因为Ant会自动下载所需的第三方依赖库。如果遇到某个组件编译失败,可以暂时跳过,先编译其他组件,然后再尝试刷新和重新编译。 各个组件编译后的生成文件位置如下: - ...
在Python环境中,通常使用pip工具来安装第三方库,但当遇到如"JPype1-0.6.3-cp27-cp27m-win_amd64.whl"这样的.whl文件时,这是一种预编译的二进制格式,可以直接通过pip进行安装,避免了编译过程,提高了安装效率。...