无尘道长
- 浏览: 161114 次
- 性别:
- 来自: 北京
-
最新评论
-
q328965539：
这个感觉不太对吧，你是说 不同的参数组成的url其实对应的是一 ...
CDN回源率高导致机房出口带宽翻倍 -
chowqh：
看楼主的意思每次，执行sql时，会连接redis，写数据，对吧 ...
获取hive日志，停止hive -
lindagugu123：
我联系不上你了，能加我的QQ号码么？我是Linda，需要帮助！ ...
HFile格式说明（转） -
lanfei：
感谢楼主分享，学习了
由商品页的设计与实现说起 -
jd2bs：
总结的不错
hbase之RPC详解
文章列表
概述：
JProfiler是用于分析J2EE软件性能瓶颈并能准确定位到Java类或者方法有效解决性能问题的主流工具，它通常需要与性能测试工具如：LoadRunner配合使用，因为往往只有当系统处于压力状态下才能反映出性能问题。
分析内存：
系统的内存消耗过多往往有以下几种原因：
频繁创建Java对象，如：数据库查询时，没分页，导致查出表中所有记录；
存在大对象，如：读取文件时，不是边读边写而是先读到一个byte数组，这样如果读取的文件时
hbase有一个官方的中文参考手册，学习hbase前最好先浏览一下以便对hbase有一个整体的了解，连接地址：http://abloz.com/hbase/book.html
前言：研究的HBase版本是0.94.12，贴出的源代码可能是经过我删减或者加工过的（简化篇幅，更易读）
以Scan查询为例介绍数据查询时HBase client端的实现
public static void main(String[] args) {
scan("product", "f", "", 2); //从product表查询2条记录
}
public static void scan(String tableName, String fml, String startRow, i ...
使用impala查询hbase时，如果是“=”条件查询，如果不添加is not null条件，则会把该列没有值的记录也查询出来（空字符串不会），比如：
Select * from user where name=’xiao wang’，该语句会查询出name等于xiao wang和null的数据。
Select * from user where name=’xiao wang’ and name is not null 则不会查询出
很长时间没有自己搭建项目框架了，最近要做一个数据开放的项目，由我搭建项目框架，发现现在spring已经做得很棒了，采用注解和基础包方式大量简化代码和配置量，把程序员从枯燥的低level代码中解放出来，更加关注业务逻辑的实现。
附件是我搭建的框架和demo例子。
该框架关键信息如下：
1、采用spring+spring mvc+mybatis+easyui
2、采用maven打包，整个项目分dao、service、web、common、domain、worker 6个子模块，其中关于定时任务的类可以写到worker模块中
3、demo例子实现新增、修改、查询， ...
在上一家单位做软件开发平台（2012年前的事了），一做就是近5年时间，在离开的最后一段时间，中心觉得应该做一个自己的jquery UI组件库，但是团队中没有NX的JS高人，要招一个合适的做过JS UI组件库的同学实在太难，似乎我 ...
博文说明：1、研究版本hbase0.94.12；2、贴出的源代码可能会有删减，只保留关键的代码。
hbase的锁是采用jdk的ReentrantReadWriteLock类实现
一、HRegion有两种锁：lock、updatesLock，这两种锁均是ReentrantReadWriteLock类的实例，基本上所有的region操作均需要获取lock的read共享锁，在获取了lock的read锁后，如果是增加或者删除等影响数据内容的操作则还需要获取updatesLock的read锁。
1、HRegion的lock锁影响如下的操作：
这是对我1年前设计与开发的商品详情页的总结，主要从性能、可用性和可维护性三个方面进行。
一、性能优化
从整体架构、程序内部和运行环境三个层面进行性能优化。
1. 架构保障
由于现阶段商品数量处于千万级，并且结合商品的增长速度分析，以静态化方案为主即可满足未来一定时间的发展，具体静态化方案如下：
提前生成商品页的
博文说明：1、研究版本hbase0.94.12；2、贴出的源代码可能会有删减，只保留关键的代码
从client和server两个方面探讨hbase的写数据过程。
一、client端
1、写数据API
写数据主要是HTable的单条写和批量写两个API，源码如下：
//单条写API
public void put(final Put put) throws IOException {
doPut(put);
if (autoFlush) {
flushCommits();
}
}
//批量写API
pu ...
前提说明：本文章研究的hbase版本是0.94.12。.
-ROOT-表和.META.表是hbase的元数据表，在-ROOT-表中保存有.META.表的相关信息，在.META.表中保存有业务表的region相关信息，在client端访问具体的业务表的region时需要先通过-ROOT-表找到.META.表，再通过.META.表找到region的位置，即这两个表主要解决了region的快速路由问题。
通过scan命令查看-ROOT-表的数据：
通过上图可以看出-ROOT-表的1行记录共有1个列簇4个列：regioninfo、server、server ...
一、环境准备
1、安装centos系统时为hadoop指定专用用户：hadoop
2、如果sudo命令有问题则可以先配置sudo，以便后续安装运维方便，如下步骤修改：
1)、切换到root权限：su root（如果已经是则不用切换）
2)、修改sudoers文件，添加hadoop用户的权限：vi /etc/sudoers，在“root ALL=(ALL) ALL”这一行后面添加一行：“hadoop ALL=(ALL) ALL”。
3、修改hosts：vi /etc/hosts，配置master和slave的ip与域名，例如：
192.168.22.129 master
1 ...