`
085567
  • 浏览: 219164 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Hbase配置和开发中的几个注意事项

阅读更多

在配置Hadoop和Hbase的过程中,虽然官方网站上有很多丰富的文档,但是常常仍然会有一些细枝末节的问题,成为阻碍项目配置成功以及后续开发的绊脚石。下面就记录几个Hbase配置以及开发过程中需要注意的事项:

(1)修改节点主机名的问题
在配置文件中使用机器主机名(如WAMDM1)作为通讯方式的时候,需要修改2个文件:/etc/hosts 以及 /etc/hostname

(2)修改Classpath的文件
如果要修改Java默认Classpath,可以修改如下文件:/etc/environment ,修改完以后,需要重启生效

(3)配置Hbase开发项目时,如何导入Hbase的配置文件 hbase-default.xml 以及 hbase-site.xml 文件?
在官方的说明文档里,常常是说只要将hbase-site.xml文件加入到CLASSPATH中,便可以在配置的Hbase开发项目中连接使用Hbase的API。不过,由于大家通常使用Eclipse作为项目开发集成环境,而Eclipse会产生自己的.classpath文件来配置classpath,所以有可能会导致Eclipse的CLASSPATH变量和系统的CLASSPATH变量不同的情况,导致new HBaseConfiguration()的时候无法正确发现配置文件,从而导致连接失败。因此,在配置基于Hbase的开发项目,使用Hbase的API连接操作Hbase的时候,一个简单而可行的解决办法是将hbase-default.xml 以及 hbase-site.xml 文件直接拷贝到JAVA项目的src文件夹下,则可以正确连接Hbase了

本文可以自由转载,转载时请保留全文并注明出处:
转载自仲子说 [ http://www.wangzhongyuan.com/ ]

分享到:
评论

相关推荐

    Hadoop、HBase、Hive、Pig、Zookeeper资料整理

    标题 "Hadoop、HBase、Hive、Pig、Zookeeper资料整理" 涵盖了大数据处理领域中几个核心的开源项目,这些项目在分布式计算、数据存储和管理方面发挥着重要作用。以下是对这些技术的详细介绍: 1. **Hadoop**:Hadoop...

    Hbase官方文档

    - 避免热点:合理设计RowKey,避免数据集中写入某几个Region。 **11.8 从HBase读取** - 使用Scan API进行范围扫描,提高读取效率。 - 启用BlockCache,将热点数据缓存在内存中。 **11.9 从HBase删除** - 控制...

    HBaseCoprocessor的实现与应用.zip

    本资料“HBase Coprocessor的实现与应用.zip”深入探讨了这一特性,主要涵盖了以下几个关键知识点: 1. **HBase Coprocessor概述**:Coprocessor是HBase内置的一种机制,它允许用户在RegionServer端和客户端实现...

    Hadoop权威指南---中文版

    - **安装之后**:讨论了安装完成后的一些常见操作和注意事项。 - **Hadoop集群基准测试**:介绍了如何对Hadoop集群进行基准测试,以评估其性能。 - **云计算中的Hadoop**:探讨了Hadoop在云计算环境下的应用和优势。...

    Ambari2.7.5&HDP3.1.5.txt.zip

    在 Ambari2.7.5&HDP3.1.5.txt 文件中,通常会包含详细的安装指南、配置参数和注意事项,帮助用户顺利完成集群搭建。 总之,Ambari 2.7.5 和 HDP 3.1.5 的结合为大数据环境的管理和运维提供了一个强大的工具集,让...

    阿里云 专有云企业版 V3.7.0 E-MapReduce 用户指南 20181201.pdf

    3. **格式说明**:文档中采用了特定的格式来指示关键信息,如警示信息(禁止和警告)、说明、命令示例、参数和选项等,这些格式有助于用户快速识别重要的操作步骤和注意事项。 4. **操作指南**:E-MapReduce用户...

    impala_jdbc.zip

    《Impala JDBC驱动详解》 ...理解其工作原理、安装步骤以及使用注意事项,对于开发基于Impala的数据分析应用至关重要。通过不断学习和实践,开发者可以充分利用JDBC驱动,释放Impala在大数据处理中的强大潜能。

    cloudera-impala官方手册

    #### 五、Impala 使用注意事项 根据官方文档中的版权声明,使用 Impala 时需注意以下几点: - 必须遵守所有适用的版权法。 - 未经 Cloudera 明确书面许可,不得复制、模仿或使用本文档的任何部分。 - 除明确规定的...

    vagrant-spark-playground:使用Vagrant的Apache Spark集群模拟

    5. **README.md**:项目说明文件,提供了使用该项目的详细步骤和注意事项。 **四、搭建Spark集群步骤** 1. 安装Vagrant和VirtualBox:确保已安装这两个基础组件,Vagrant用于管理和配置虚拟机,VirtualBox作为虚拟...

    java代码-大数据一班26杨惠恒

    6. 注意事项和问题解决:可能包含已知问题、常见错误及解决方法。 通过仔细阅读`main.java`和`README.txt`,我们可以学习到如何使用Java进行大数据处理,理解分布式计算的概念,并可能掌握一种或多种大数据框架的...

    hadoop迁移数据应用实例详解

    在进行Hadoop数据迁移时,通常涉及以下几个步骤: 1. **备份数据**:在迁移前,确保在源系统上备份所有重要数据,以防迁移过程中数据丢失。 2. **配置迁移目标**:在目标服务器上安装并配置Hadoop环境,包括设置...

Global site tag (gtag.js) - Google Analytics