yugouai
- 浏览: 499231 次
- 性别:
- 来自: 深圳
-
最新评论
-
IT_LDB：
哥们你帮我大忙了，谢啦。一直在尝试使用内嵌的disco ...
FaceBook PrestoDB 安装文档 -
wxcking：
yugouai 写道wxcking 写道请问，Windows下 ...
阿里DataX编译与案例 -
yugouai：
wxcking 写道请问，Windows下怎么配置呢？Data ...
阿里DataX编译与案例 -
wxcking：
请问，Windows下怎么配置呢？
阿里DataX编译与案例 -
developerinit：
总结的非常好，每次都来看
HIVE中的排序细谈
文章列表
Linux下crontab命令的用法
- 博客分类：
- linux编程
任务调度的crond常驻命令
crond 是linux用来定期执行程序的命令。当安装完成操作系统之后，默认便会启动此任务调度命令。crond命令每分锺会定期检查是否有要执行的工作，如果有要执行的工作便会自动执行该工作。而linux任务调度的工作主要分为以下两类：
1、系统执行的工作：系统周期性所要执行的工作，如备份系统数据、清理缓存
2、个人执行的工作：某个用户定期要做的工作，例如每隔10分钟检查邮件服务器是否有新信，这些工作可由每个用户自行设置
Crontab是UNIX系统下的定时任务触发器，其使用者的权限记载在下列两个文件中：
文件
含义
/etc/cron.deny
该文 ...
编写Linux定时处理程序的方法
- 博客分类：
- linux编程
本文要写的Linux定时处理程序，想必这是很多Linux开发人员需要处理的问题。例如编写一个每天数据入库程序，编写一个定时邮件通知程序等等。
对于定时处理程序，主要有两种方法可以实现。一种是使用crontab来做程序的定 ...
刚刚测试Hadoop程序，一不小心把数据删掉了～～～好在是在测试机上，不然就蛋痛了，还是设置一下hadoop的回收站，以防万一
首先：
Hadoop回收站trash，默认是关闭的。
习惯了window的同学，建议最好还是把它提前开开，否则误操作的时候，就欲哭无泪了
1.修改conf/core-site.xml,增加
Xml代码
<property>
<name>fs.trash.interval</name>
<value>1440</value>
<desc ...
hi all：
今天将hive和hbase升级，分别将hive升级到0.9.0，hbase升级到0.94.0，原来hadoop的环境是1.0.3，升级完后，hive和hbase能单独运行成功，当然，hadoop集群是正常启动的。但是发现，在hive中使用show tables、desc table操作，都是正常的，但是使用select 的时候就会报错，查看hive的日志，有以下问题：
2012-07-27 09:13:18,951 WARN snappy.LoadSnappy (LoadSnappy.java:<clinit>(46)) - Snappy native lib ...
hive中创建分区表没有什么复杂的分区类型(范围分区、列表分区、hash分区、混合分区等)。分区列也不是表中的一个实际的字段，而是一个或者多个伪列。意思是说在表的数据文件中实际上并不保存分区列的信息与数据。
下面的语句创建了一个简单的分区表：
create table partition_test
(member_id string,
name string
)
partitioned by (
stat_date string,
province string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';
这个例子中创建了stat_date ...
Hive分享教程2-Hive语法
- 博客分类：
- Hive分享
Hive的语法与SQL相似，细看例子
creating tables
CREATE TABLE tmp_table #表名
{
title string , #字段名 字段类型
minimun_bid double,
quantity bigint,
have_invoice bigint
}COMMENT 'XXX' #表注解
PARTITIONED BY(pt STRINT) #分区表字段（文件大则采用分区）
ROW FORMAT DELIMITED
...
Hive分享教程1-Hive简介
- 博客分类：
- Hive分享
HIVE是一个SQL解释引擎，它将SQL语句转译成M/R JOB，然后在Hadoop执行，来达到快速开发的目的。Hive的表其实就是一个Hadoop的目录/文件（HIVE默认表存放路径一般是工作目录的Hive目录里面），按表名做文件夹分开，如果有分区表，分区值都是子文件夹，可以直接在其他的M/R JOB里面直接应用这部分数据。
Hive的特点有一下几点：
1.为超大数据集设计的计算/拓展能力-based on Hadoop
2.支持SQL like查询语言
3.统一的元数据管理
Hive与SQL类似，使用的语句区别不大，如：
...
Q+WebQQ的聊天记录保存路径很奇怪
- 博客分类：
- 杂谈
令我十分奇怪的是，我今天在Ubuntu11.04使用Web QQ的时候发现，起聊天记录和群里面的公告之类的一下信息是保存在/etc/profile里面的，还有一些网络的编辑信息，都是保存在profile里面的，为什么呢？profile文件不是配置一些环境变量使用的吗？例如是JDK之类的配置，为什么会存储网络的信息？？？
贴一下我的profile文件内容：
# /etc/profile: system-wide .profile file for the Bourne shell (sh(1))
# and Bourne compatible shells (bash(1), ksh(1), a ...
Bloom Filter分析（转）
- 博客分类：
- java
Bloom Filter是由Bloom在1970年提出的一种多哈希函数映射的快速查找算法。通常应用在一些需要快速判断某个元素是否属于集合，但是并不严格要求100%正确的场合。一. 实例 为了说明Bloom Filter存在的重要意义，举一个实例： ...
1，服务端到客户端
服务端新建Json数据，HttpservletResponse是请求对象的返回，得到他的writer，把json转换成string就可以。写在doGet里。
代码：
res.setContentType("UTF-8");
PrintWriter pw = res.getWriter();
JSONObject json = new JSONObject();
json.put("name","fwz");
pw.write(json.toString());
客户端，使用HttpClient的exe ...
附件介绍Commons常用包介绍，还有包含案例代码，源代码缺少包请到http://commons.apache.org/下载，包括Commons Lang、Commons BeanUtils、Commons IO、Commons Collections等详细用法
由于项目需要，需要从一张表中的数据复制到另一张表中。
本来是打算使用Hibernate的O/R映射，因为Hibernate能够将JavaBean映射成数据库表，现在把这个过程逆转过来，将数据库表反映射成JavaBean，在网上找了很多资料，貌似没太详细的说明，如果大家有这方面的资料，请留言，大家讨论，这可能是一个比较难的问题，不过应该可以解决，这里征求一下大家的实现方法。
由于使用Hibernate的方法实现不出来，只能使用最笨的方法：
1.新建一个与待拷贝的表属性一样的表，包括字段名、字段类型、大小等的属性，这里可以使用JDBC来实现，今天测试一下，可以使用两种方法
...
][Eclipse]GEF入门系列（六、添加菜单和工具条
转自八进制空间：
http://www.cnblogs.com/bjzhanghao/archive/2005/03/30/128704.html
commons.lang,commons.io这两个开发包对开发人员来说最好熟悉一下，能够加快开发效率，同时对代码质量的提供一定的保证，下面介绍一下这两个包：
commons.lang包
1. org.apache.commons.lang.ArrayUtils：
用于对数组的操作，如添加、查找、删除、子数组、倒序、元素类型转换
2. org.apache.commons.lang.BooleanUtils：
用于操作和转换boolean或者Boolean及对应的数组，根据null或者其他值默认设置Boolean或者是boolean的值；基本类型与boolean或者Boolean转换
3 ...
一、Mapping的使用
Mapping是Spring的映射，可以映射到JSP代码与Java方法或类的调用，如在上传文件中，页面Form中的配置应该是这样：
<form:form name="addByUploadFile" action="${ctx}/tracerecorddetails/addByUploadFile.do" method="post" enctype="multipart/form-data" modelAttribute="traceRecordDetails" ...