`
安铁辉
  • 浏览: 245199 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论
文章列表

hive wiki -UDF

今天回头看了下之前写的关于hive udf的博客发现好乱啊,最近又开发了一些工作中用到的udf(泛指),还是整理一下,也学对别人能有用(认知盈余) add [jar/file] 是讲文件放入session中,集群共享session中内容 list jars; my_jar.jar list files; xx.py
写hivesql这么久,一直在看别人的博客,而官网wiki确没有去看,放弃了最权威的知识,今天开始用1周的早晨把wiki看完 1、buckt:桶 It is also a good idea to bucket the tables on certain columns so that efficient sampling queries can be executed against the data set. If bucketing is absent, random sampling can still be done on the table but it is not effic ...
项目开发中经常会有多个复选框结果需要保存到数据库中,同时也需要在页面段显示,实现的方法应该很多,把我这次做的贴出来,如果有更好的处理方式欢迎留言一起探讨 1、先看下页面效果 对应的复选框value为 1 2 4 8 即 2的 0123次幂 2、存储很简答,直接把value的合存储即可 3、展示:DO中增加方法 public boolean doSend(int level,int method){ if(1<=level && level <=5 && (1 == method || method ==2 || method ==4 ...
最近做数据迁移项目,把聚合部分从kettle迁移到hadoop集群上,需要写很多聚合脚本 在论坛是看到alipay同事写过类似cube的UDAF,代码拿过来运行下报错,有几个地方没看多,而且没有注释,只好从基础开始看,自己搞一个,之前写过 ...

AOP

    博客分类:
  • WEB
昨天看见同事的项目中用aop监控慢sql,觉得aop慢强大的,看了写基本概念,写了个简答例子 spring中对aop支持很友好,完全spring的方式配置,引入aop有2中方式@aspectj 和基于scheme配置方式,@aspectj用起来比较简洁和方便,所以例子用 ...

MP爱的初体验

写MP需要合适的测试框架是必须的,Mockito是不错的选择,Mockito是一个流行的Mocking框架。它使用起来简单,学习成本很低,而且具有非常简洁的API 官网:http://mockito.org/ jar包下载地址:http://code.google.com/p/mockito/downloads/list

参数配置

JVM内存JAVA_OPTS参数说明 -server:一定要作为第一个参数,在多个CPU时性能佳51Testing软件测试网;R+l'[3Q^:g y ? -Xms:初始Heap大小,使用的最小内存,cpu性能高时此值应设的大一些 Intellij Idea 10下面远程调试JBoss上运行的Web程序 原文地址:http://hi.baidu.com/bearhzl/blog/item/b76fca25168804174c088ded.html
[ 初尝批处理——批量删除svn标志 keyit.focus();} // --> Shell 写了不少,批处理却一直没用过。简单的说,批处理就是一些dos命令的组合。今天小试牛刀,写了第一个批处理程序,顺便也了解了一下常用的dos命令。以前总觉得dos的 ...
eclipse快捷键大全2007年03月21日 星期三 14:03eclipse快捷键大全 1. 常用快捷键 (1)Ctrl+Space 说明:内容助理。提供对方法,变量,参数,javadoc等得提示, 应运在多种场合,总之需要提示的时候可先按此快捷键。 注:避免输入法的切换设置与此设置冲突 (2)Ctrl+Shift+Space 说明:变量提示 (3)Ctrl+/ 说明:添加/消除//注释,在eclipse2.0中,消除注释为Ctrl+\ (4)Ctrl+Shift+/ 说明:添加/* */注释 (5)Ctrl+Shift+\ 说明:消除/* */注释 (6) ...
<service name="BeanFactoryService" class="com.alibaba.service.spring.DefaultBeanFactoryService"> <property name="bean.descriptors"> <value>/WEB-INF/bean/xxx.xml</value> .... <value>/WEB-INF/bean/biz-factory.xml</ ...
如何将Spring bean对外发布,以供远程调用 已有一个名称为HelloWorld的Spring Bean,此Bean实现的接口为com.taobao.hsf.test.HelloWorld,现需让其他功能模块能远程调用此Spring Bean; * 增加一个如下内容的Spring Bean XML: <beans> <bean class="com.taobao.hsf.app.spring.util.HSFSpringProviderBean"> serviceInterface必 ...
数据结构:学列类型(列表,元组,字符串),集合(set),映射类型(字典) 列表 myList=[‘as’,123,‘dfg’] #定义 myList.append(‘ddd’) #添加 for item in myList: #遍历 print(item) myList.sort() #排序 len(myList) #计算长度 del myList[0] #删 ...

hive+python 入门

自己写的一个简单例子,用来做话题描述去重,表中的desc字段 “a-b-a-b-b-c”需要去重 python代码如下: #!/usr/bin/python import sys reload(sys) sys.setdefaultencoding('utf8') def quchong(desc): a=desc.split('-') return '-'.join(set(a)) while True: line = sys.stdin.readline() if line == "": ...
Date类学习总结(Calendar Date 字符串 相互转换 格式化) Date类学习总结  1.计算某一月份的最大天数 Calendar time=Calendar.getInstance(); time.clear(); time.set(Calendar.YEAR,year); //year 为 int time.set(Calendar.MONTH,i-1);//注意,Calendar对象默认一月为0 int day=time.getActualMaximum(Calendar.DAY_OF_MONTH);//本月份的天数 注:在 ...

Ibatis sql执行过程

    博客分类:
  • WEB
www 
http://www.cnblogs.com/warison2008/archive/2010/10/13/1850262.html 转载
Global site tag (gtag.js) - Google Analytics