月光杯
- 浏览: 385960 次
- 性别:
- 来自: 上海
-
最新评论
-
tonyyan：
谢谢分享！
mapreudce 通过读取hbase表删除hbase 数据 -
maicose：
学习了，谢谢
使用spring @Scheduled注解执行定时任务 -
shuaianwen：
若果使用这种注解方式，多个定时任务设置成相同时间貌似不能并行； ...
使用spring @Scheduled注解执行定时任务 -
hanmiao：
故事不错，感觉那小男孩是個营销人才，哈哈...
前期是老板给你发工资，中期是能力给你发工资，后期是品德给你发工资！
文章列表
hbase问题总结【转】
- 博客分类：
- hbase
转载地址： http://www.cnblogs.com/shenguanpu/archive/2012/06/12/2546309.html
1 java.io.IOException: java.io.IOException: java.lang.IllegalArgumentException: offset (0) + length (8) exceed the capacity of the array: 4
做简单的incr操作时出现，原因是之前put时放入的是int 长度为 vlen=4 ，不适用增加操作，只能改为long型 vlen=8
2 写数据到colum ...
自我批评，记录工作错误
- 博客分类：
- 其他
2014-02-20 数据移植中各种错误行为思想反省
对于移植数据前，并没有在本机测试，“移植的数据能用吗”，当时没想到，思想不够严谨，更加不够细心。
当打包tar.gz文件后，考过去，解压出现错误；导致数据没法用，对于大文件，可以分开压缩，也是没测试。
出现以上错误后，重新拷贝，再次拷贝完，解压没错，数据导入成功，却发现以前的数据格式，跟现在的查询接口有不同地方，没法调用相关数据，==无效数据。反省深思，为何出现这种情况。
以后切记：做事要考虑全面，还要就是给别个用的东西，一定是自己经过测试，确定无误后，才能拿出去！！！
nohup java -jar /opt/modules/zchx_xxx1.0.9.jar 172.16.1.125 >/opt/modules/zchx_xxx.log>&1 &
nohup会把执行结果中的日志输出到当前文件夹下面的zchx_xxx.log文件中，
那么我们怎么调出所有用nohup执行的程序呢？ 只需要一句命令： ...
用MR来对hbase的表数据进行分布式计算。有两点配置可以优化操作，提升性能。它们分别是：
(1)scan.setCacheBlocks(false);
然后调用下面这句来初始化map任务 TableMapReduceUtil.initTableMapperJob
这个配置项是干什么的呢？ 本次mr ...
(转载）hbase的基本操作
- 博客分类：
- hbase
本文列举一些hbase的基本操作代码。
Java代码
package allen.studyhbase;
import java.io.IOException;
simplehbase尝试简化基于hbase的java应用开发。 Simplehbase主要提供以下功能： 1 POJO和hbase的映射。 2 提供client，简化hbase的数据操作。 3 提供强语义的插入和更新操作。 Insert操作：只有原数据不存在时，才put成功。 Update操作：只有原数据存在时，才put成功。 simplehbase的代码，测试(示例)代码，文档见附件。 看一个简单的例子： 1 通过注解标示要保存在hbase中的POJO。该POJO对应hbase的Key-Value中的Value。
https://github.com/zhang-xzhi/simplehbase/ https://github.com/zhang-xzhi/simplehbase/wiki simplehbase简介 simplehbase是java和hbase之间的轻量级中间件。 主要包含以下功能。 数据类型映射：java类型和hbase的bytes之间的数据转换。 简单操作封装：封装了hbase的put,get,scan等操作为简单的java操作方式。 hbase query封装：封装了hbase的filter，可以使用sql-like的方式操作hbase。 动态q ...
onetomany级联删除异常
- 博客分类：
- hibernate
错误：
Caused by: org.hibernate.ObjectDeletedException: deleted object would be re-saved by cascade (remove deleted object from associations)
在service业务层添加事务注解@Transactional
//删除用户组
public boolean delUserGroup(GroupVo groupVo){
String groupname = groupVo.getGroupname();
SystemGroup group = ...
org.springframework.transaction.TransactionSystemException: Could not commit Hibernate transaction; nested exception is org.hibernate.TransactionException: Transaction not successfully started最近在写操作CLOB的过程中总是报这个异常,数据去插入进去了.
先看看SessionFacto ...
linux中强大且常用命令：find、grep
- 博客分类：
- linux
在linux下面工作，有些命令能够大大提高效率。本文就向大家介绍find、grep命令，他哥俩可以算是必会的linux命令，我几乎每天都要用到他们。本文结构如下：
find命令
find命令的一般形式
find命令的常用选项及实例
find与xargs
grep命令
grep命令的一般形式
grep正则表达式元字符集(基本集)
grep命令的常用选项及实例
1、find命令
find命令是一个无处不在命令，是linux中最有用的命令之一。find命令用于：在一个目录（及子目录）中搜索文件，你可以指定一些匹配条件，如按文件名、文件类型、用户甚至是时间戳查找 ...
问题： # mount –t ntfs /dev/sdb1 /mnt/usb mount: unknown filesystem type ‘ntfs’ 这是由于CentOS release 5.3(Final)上无法识别NTFS格式的分区。 解决办法： 通过使用 ntfs-3g 来解决。 打开ntfs-3g的下载点http://www.tuxera.com/community/ntfs-3g-download/ ，将最新稳定(当前最新版本为ntfs-3g-2010.8.8.tgz)下载到CentOS，执行以下命令安装： 1 ...
yum groupinstall "Development Libraries"
yum groupinstall "Development Tools"
yum install ncurses-devel zlib-devel texinfo gtk+-devel gtk2-devel qt-devel tcl-devel tk-devel libX11-devel kernel-headers kernel-devel
下载sqoop
下载Postgresql jdbc驱动，拷入sqoop下lib中
执行
sqoop import --connect jdbc:postgresql://172.16.1.141:5432/DB_SERVER --query "SELECT id,concat(f_mmsi,to_char(f_updatetime, 'YYYYMMHH12MISS')) as trackid,f_mmsi as mmsi,f_cog as cog,f_nav_status as navStatus,f_heading as heading,f_sog as sog,f_upd ...
PostgreSQL一些简单问题以及解决办法
- 博客分类：
- 数据库
问题：org.postgresql.util.PSQLException: Connection refused. Check that the hostname and port are correct and that the postmaster is accepting TCP/IP connections.解决办法：Edit /var/lib/pgsql/data/postgresql.conf fileChange#listen_addresses = 'localhost'to listen_addresses = '*'
MapReduce列子WordCount
- 博客分类：
- hadoop
写程序MyWordCount.java
package org.myorg;
import java.io.IOException;
import java.util.*;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.conf.*;
import org.apache.hadoop.io.*;
import org.apache.hadoop.mapred.*;
import org.apache.hadoop.util.*;
public class WordCount {
pub ...