greatwqs
- 浏览: 689114 次
- 性别:
- 来自: 成都
-
文章列表
为了查看HBASE表在HDFS中的文件结构.
在HBASE中建立一张表结构如下:
{NAME => 'USER_TEST_TABLE',
MEMSTORE_FLUSHSIZE => '67108864',
MAX_FILESIZE => '1073741824',
FAMILIES => [
{NAME => 'info', BLOOMFILTER => 'NONE', REPLICATION_SCOPE => '0',
COMPRESSION => 'NONE', VERSIONS => '1', TTL => ...
在HBase中，大部分的操作都是在RegionServer完成的，Client端想要插入，删除，查询数据都需要先找到相应的RegionServer。什么叫相应的RegionServer？就是管理你要操作的那个Region的RegionServer。Client本身并不知道哪个RegionServer管理哪个Region，那么它是如何找到相应的RegionServer的？本文就是在研究源码的基础上揭秘这个过程。
在前面的文章“HBase存储架构”中我们已经讨论了HBase基本的存储架构。在此基础上我们引入两个特殊的概念：-ROOT-和.META.。这是什么？它们是HBase的两张内置表，从 ...
HBase系统架构图
Client HBase Client使用HBase的RPC机制与HMaster和HRegionServer进行通信，对于管理类操作，Client与HMaster进行RPC；对于数据读写类操作，Client与HRegionServer进行RPCZookeeper Zookeeper Quorum中除了存储了-ROOT-表的地址和HMaster的地址，HRegionServer也会把自己以Ephemeral方式注册到Zookeeper中，使得HMaster可以随时感知到各个HRegionServer的健康状态。此外，Zookeeper也避免了HMaster的单点问 ...
该文档是用hbase默认配置文件生成的，文件源是 hbase-default.xml。
在实际的HBase生产环境中应用于%HBASE_HOME%/conf/hbase-site.xml中。
hbase.rootdir
这个目录是region server的共享目录，用来持久化HBase。URL需要是'完全正确'的，还要包含文件系统的scheme。例如，要表示hdfs中的'/hbase'目录，namenode 运行在namenode.example.org的9090端口。则需要设置为hdfs://namenode.example.org:9000/hbase。默认情况下HBase ...
#!/usr/bin/env bash
#greatwqs for install hbase environment.
for ip in $(cat /home/hadoop/hbase-current/conf/regionservers);
do scp -r /home/hadoop/hbase-version $ip:~/;
ssh $ip "ln -s /home/hadoop/hbase-version/hbase-0.90.3-cdh3u1 hbase-current" ;
done
本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，这里涉及的不多，这部分可以参考：淘宝Ken Wu同学的博客。
1. 表的设计
1.1 Pre-Creating Regions
默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入HBase时，会按照region分区情况，在集群内做数据的负载均衡。
有关预分区，详情 ...
1.创建测试表
hbase(main):010:0> create 'DCP_TEST',{NAME => 'info',VERSIONS => 1, TTL => 214783647, BLOCKCACHE => false,IN_MEMORY=>false},{NAME=>'tempData',VERSIONS=>1,TTL=>259200,BLOCKCACHE=>false,IN_MEMORY=>false}
0 row(s) in 0.6210 seconds
2.查看表结构
hbase(main):011: ...
HBase Version: hbase-0.90.3-cdh3u1
org.apache.hadoop.hbase.client.HTablePool
用起来不是很方便. 所以重写了一些HTablePool, 对自己业务逻辑这块比较相关. 欢迎讨论.
主要是对源代码下面4点进行改进和设置:
1. 为不同的table建立的poolSize不一样, 目前HTablePool为所有的table建立的maxSize一致.
private final int maxSize;
2. 从HTablePool中getTable是只初始化了一个HTable, 而且在这个时候才初始化HTab ...
随着几天下来nginx的host.access.log逐渐膨胀.
理想的做法就是根据每天进行区分日志文件,如host.access_20120815.log等, 日志保留最近10天的, 超过10天的日志文件则进行删除.
根据上需求进行nginx的日志切割.
1. 脚本nginxcutlogs.sh
[devwqs@rehserver bin]$ more nginxcutlogs.sh
#!/bin/bash
# 1. move host.access.log to host.access_20120821.log
logs_path="/home/devwqs/n ...
USE [SqlserverDBName]
GO
/***********************************************************
*DataServer: XXX.XXX.XXX.XXX
*DataBase: SqlserverDBName
*Name: UP_YourSqlserverDBName
*Function: UP_YourSqlserverDBName test
*Input:
*Output:
*Creator: greatwqs
*Updated: 2012-08-21 temp table ...
USE mydatabase
GO
/*******************************************************
* Data_ItemList_Additional is Data_ItemList'Additional
* Data_ItemList_Additional store bigdata for another table
*
* delete userid'info from table Data_ItemList_Additional
* Database: mydatabase
* author: greatwqs
...
user www www;
worker_processes 8;
error_log /usr/local/webserver/nginx/logs/nginx_error.log crit;
pid /usr/local/webserver/nginx/nginx.pid;
#Specifies the value for maximum file descriptors that can be opened by this process.
worker_rlimit_nofile 65535;
events
{
use epoll;
wo ...
Nginx: upstream parameters 参数, 配置负载均衡时如下例:
upstream backend {
server backend1.example.com weight=5;
server 127.0.0.1:8080 max_fails=3 fail_timeout=30s;
server unix:/tmp/backend3;
}
其中可选参数为: weight=number, max_fails=number, fail_timeout=time, backup, down;
官网文档原文:
Defines an ...
SELECT definition
FROM sys.sql_modules JOIN sys.objects
ON sys.sql_modules.object_id=sys.objects.object_id
and type='P'
and sys.objects.name='your_precdure'
type有以下取值
C=约束
D=默认值
F=KEY约束
L=日志 FN=标量函数
IF=内嵌函数
P=存储过程
S ...
HBase 官方文档
Copyright © 2010 Apache Software Foundation, 盛大游戏-数据仓库团队-颜开(译)
Revision History
Revision 0.90.4
配置，数据模型使用入门
Abstract
这是 Apache HBase的官方文档, Hbase是一个分布式,版本化(versioned)，构建在 Apache Hadoop和 Apache ZooKeeper上的列数据库.
我(译者)熟悉Hbase的源代码，从事Hbase的开发运维工作，如果有什么地方 ...