博客首页 → HBase

最新文章列表

hadoop或者hbase集群做停止操作

有时候，我们对运行几天或者几个月的hadoop或者hbase集群做停止操作，会发现，停止命令不管用了，为什么呢？ 因为基于java开发的程序，想要停止程序，必须通过进程pid来确定，而hadoop和hbase默认的情况下，会把pid文件存储在Linux上的/tmp目录的某个目录下，进程名命令规则一般是  框架名-用户名-角色名.pid，而默认情况下，linux的tmp里面的东西，一天会删除一次， ...
hadoophbase 
weitao1026 评论(0) 有499人浏览 2016-10-27 18:57

使用Hive如何和Hbase集成

主要讲的是使用Hive如何和Hbase集成，Hbase和Hive的底层存储都在HDFS上，都是hadoop生态系统中的重要一员，所以他们之间有着很亲密的联系，可以相互转换与操作。 hadoop，hbase和hive的搭建就不重复说了，不会的朋友，可以看散仙前面的博客，下面直接进入重点，关于hive集成hbase这一块，网上资料不算多，有的版本比较旧，散仙这里使用的版本是hive0.12和hb ...
hbasehadoop 
weitao1026 评论(0) 有442人浏览 2016-10-18 10:51

Hbase的Hmaster配置

Hbase的Hmaster配置HA相比Hadoop的NameNode和ResourceManager的HA来说，比较简单，几乎不用配置什么： Xml代码   <configuration>     <property>         <name>hbase.rootdir</name>         <valu ...
hbase 
weitao1026 评论(0) 有1105人浏览 2016-01-21 10:19

hadoop和hbase默认的情况下，会把pid文件存储

有时候，我们对运行几天或者几个月的hadoop或者hbase集群做停止操作，会发现，停止命令不管用了，为什么呢？ 因为基于java开发的程序，想要停止程序，必须通过进程pid来确定，而hadoop和hbase默认的情况下，会把pid文件存储在Linux上的/tmp目录的某个目录下，进程名命令规则一般是  框架名-用户名-角色名.pid，而默认情况下，linux的tmp里面的东西，一天会删除一次， ...
hadoophbase 
weitao1026 评论(0) 有399人浏览 2016-01-21 10:19

使用Hive如何和Hbase集成

使用Hive如何和Hbase集成，Hbase和Hive的底层存储都在HDFS上，都是hadoop生态系统中的重要一员，所以他们之间有着很亲密的联系，可以相互转换与操作。 hadoop，hbase和hive的搭建就不重复说了，不会的朋友，可以看散仙前面的博客，下面直接进入重点，关于hive集成hbase这一块，网上资料不算多，有的版本比较旧，散仙这里使用的版本是hive0.12和hbase0.96 ...
hbase 
weitao1026 评论(0) 有523人浏览 2016-01-21 10:18

Hbase新的api的增删改查的工具类

写了个Hbase新的api的增删改查的工具类 Java代码 package com.dhgate.hbase.test;   import java.util.ArrayList;   import java.util.List;   import org.apache.hadoop.conf.Configuration;   import org.apache.h ...
hbase 
weitao1026 评论(0) 有895人浏览 2016-01-20 16:08

Hbase存储数据，由于现在的hadoop

Hbase存储数据，由于现在的hadoop 的集群是基于hadoop2.2.0的，本次搭建Hbase集群，是基于底层依赖Hadoop2.2.0的，具体的情况描述如下： 序号 机器IP 角色 ...
hbasehadoop 
weitao1026 评论(0) 有715人浏览 2016-01-20 16:08

在Windows上直接使用JAVA API连接Hbase0.96报的一个异常

在Windows上直接使用JAVA API连接Hbase0.96报的一个异常，这个异常在Hbase0.94的版本里是没有的，为什么？  跟你所用的底层的Hadoop有关系，如果是底层hadoop是1.x的版本，那么没有这个问题，如果是2.x的hadoop，那么需要注意了，可能会出现下面这个问题，异常如下： Java代码   2014-07-14 13:27:59,286 WA ...
hbasehadoop 
weitao1026 评论(0) 有648人浏览 2016-01-19 10:53

从Hbase里读取数据，创建连接时

最近项目抓取的数据，存在Hbase里，所以需要从Hbase里读取数据，创建连接时，发现总是报如下的一个异常: 这个异常，并不影响，数据结果的获取，但是每次总报这个异常，未免让人感觉很不爽，后来经查，散仙发现是xml的解析jar包冲突的问题，究其原因，主要有2处： 1、系统使用的jar包版本冲突所导致的，比如有两个版本不一样但相同的包 2、系统使用的jar包版本过低（相对其他包而言） 上面的截图中 ...
hbase 
weitao1026 评论(0) 有499人浏览 2016-01-19 10:53

用Sqoop从Mysql数据库里向Hbase里导入数据

用Sqoop从Mysql数据库里向Hbase里导入数据，导入成功后，在eclipse上使用Java Hbase API的连接集群，打印所有数据，结果一运行程序，日志显示无法定位登录配置，具体信息如下： Java代码   2013/12/29-02:20:46  INFO ZooKeeper:100 - Client environment:java.library.path ...
hbase 
weitao1026 评论(0) 有630人浏览 2016-01-19 10:52

Hbase是够建在HDFS之上的半结构化的分布式存储系统，

Hbase是够建在HDFS之上的半结构化的分布式存储系统，具有HDFS的所有优点，同时也有自己的亮点，支持更快速的随机读写以及更灵活的Scan操作，而在HDFS上这一点我们是远远做不到的，因为HDFS仅支持Append追加操作，而且也不具备随机读写一条数据的功能，实际上HDFS扫描的范围按Block来算的，所以从某个角度来言，Hbase利用Schemal的方式做到了这一点。 一般情况下，我们使用 ...
hbase 
weitao1026 评论(0) 有710人浏览 2016-01-19 10:52

基于Hbase的完全分布式集群

基于Hbase的完全分布式集群，只不过集群的zookeeper与上次的不同，我们都知道Hbase为了简化集群部署，已经内置了zookeeper，大部分时候使用内置的zookeeper都可以非常方便的部署集群，而这一点与solr中solrcloud的集群部署非常相似，solrcloud也内置了zookeeper了，启动的时候可以由solr负责启动zookeeper，而在Hbase中，则是由Hbas ...
hbase 
weitao1026 评论(0) 有481人浏览 2016-01-19 10:52

介绍下Hbase的完全分布式的安装部署

介绍下Hbase的完全分布式的安装部署，完全分布式的安装同样是基于Hadoop的HDFS底层的，也就是说，要想完成Hbase分布式的安装，那么你的Hadoop坏境也必须是完全分布式的，然后一个Hbase应用配套的部署在一个Hadoop节点上，关于Hadoop的完全分布式的安装部署，散仙以前的博客里有介绍，在这里就不再涉及了，接下来，让我们开始进入正题，如果目前的情况是，你已经会部署Hbase的伪 ...
hbase 
weitao1026 评论(0) 有580人浏览 2016-01-18 09:33

HBase 全称Hadoop Database

HBase 全称Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 本篇散仙要介绍下怎么部署安装Hbase的伪分布式模式，在安装hbase前，首先得保证你的hadoop环境已经安装好，并且可以正常使用，因为hbase底层存储使用的是HDFS，所以安装Hbase前，务必先安装hadoop ...
hbase 
weitao1026 评论(0) 有683人浏览 2016-01-18 09:32

Hadoop2.7.1和Hbase0.98添加LZO压缩

1，执行命令安装一些依赖组件 yum install -y hadoop-lzo lzo lzo-devel hadoop-lzo-native  lzop 2， 下载lzo的源码包并解压 wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.09.tar.gz tar -zxvf lzo-2.09.tar.gz 3，在当前目 ...
hbasehadooplzo 
qindongliang1922 评论(0) 有2603人浏览 2016-01-04 17:46

Hbase设置Snappy压缩测试

在DT大数据时代，海量数据的存储和分析是一个巨大的挑战，给我们的hadoop或者hbase集群添加数据压缩的能力，是必不可少的，通过压缩我们不但能节约磁盘空间，而且也能节省集群间网络带宽的损耗，从而间接提高了集群任务的整体执行效率，hadoop已经自带支持一些比较常用的压缩，如gz，bz等，使用hadoop checknative -a命令可以查看你的hadoop支持几种压缩格式： 15/1 ...
hbasehadoopsnappy 
qindongliang1922 评论(0) 有3447人浏览 2015-12-30 15:31

hbase hbck流程

  HBaseFsck类的hbase hbck流程；hbck是一个很重的管理工具，他会访问所有rs，扫描整个meta表，以及读取所有table region里的regioninfo，所以不要频繁使用hbck，会给hbase带来压力   /** * This repair method requires the cluster to be online since it contac ...
hbasehbck 
blackproof 评论(1) 有2348人浏览 2015-12-21 16:23

HBase系列四--计数器

一、计数器      在hbase中，由于针对同一行的记录进行操作时，已经提供行级锁；这样的功能会带来大量资源竞争的后果；那么在hbase里面提供一个将列当做计数器的功能      1、计数器        计数器默认不用进行初始化默认值即为0；在计数器进行具体操作时可以添加对应的值；若是用户直接操作则需要使用        Bytes.toLong()--->解码   Bytes.toByt ...
hbase 
dalan_123 评论(0) 有1980人浏览 2015-12-02 10:58

HBase系列三

关于spring-hbase中scan + filter的操作；通过HbaseTemplate + HTableInterface完成如下操作 一、测试源码 @Component public class HbaseUtil implements InitializingBean { private String tableName = "users"; // table ...
hbase 
dalan_123 评论(0) 有2308人浏览 2015-12-01 16:51

HBase系列一

关于hbase 一、客户端类 HTable 和 HTablePool: (1)、HTable用于一个线程创建一个HTable；最好只创建唯一一个HTable对象；因为每次创建HTable实例都需要付出代价；检查meta.表对应的表是否存在，是否可用以及其他                              的一些操作；对性能的损耗不可忽视的；同时HBase所有的修改操作都是保证行级别的原 ...
hbase 
dalan_123 评论(0) 有711人浏览 2015-11-30 16:17

最近博客热门TAG

Oracle(49876) MySQL(37268) SQL Server(17623) Access(9329) DB2(4271) Redis(3181) Sybase(2414) 数据挖掘(2098) MongoDB(2014) SQLite(1817) PostgreSQL(1635) HBase(1492) NoSQL(1000) HSQLDB(620) Informix(581) Derby(578) Cassandra(375) PowerBuilder(333) CouchDB(113) TokyoCabinet(87)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics