wangjin161
- 浏览: 176073 次
- 性别:
- 来自: 北京
-
最新评论
文章列表
shell 函数返回字符串的做法
- 博客分类：
- linux
#!/bin/shfunction getTime { echo $1 date }CurrentTime="$(getTime $1)"
调用方法一定要 "$(getTime $1)"
$(cmd) ¼
可以将函数看作是脚本中的一段代码，但是有一个主要区别。
执行函数时，它保留当前shelll和内存信息。
如果执行或调用一个脚本文件中的另一段代码，将创建一个单独的shell，因而去除所有原脚本中定义的存在变量。
函数可以放在同一个文件中作为一段代码，也可以放在只包含函数的单独文件中。
函数名（）
overwrite在hive内部表及外部表特性
- 博客分类：
- hive
overwrite在hive内部表及外部表特性。overwrite即为重写的意思， 指定了OVERWRITE，会有以下效果：•目标表（或者分区）中的内容（如果有）会被删除，然后再将 filepath 指向的文件/目录中的内容添加到表/分区中。 •如果目标表（分区）已经有一个文件，并且文件名和 filepath 中的文件名冲突，那么现有的文件会被新文件所替代。
一、内部表测试
1. 内部表建表语句：
create table tb_in_base
(
id bigint,
devid bigint,
devname string
) ...
shell脚本获取当前脚本执行路径
- 博客分类：
- linux
shell脚本获取当前脚本执行路径
filepath=$(cd "$(dirname "$0")"; pwd)
脚本文件的绝对路径存在了环境变量filepath中，可以用
echo $filepath
查看完整路径
在shell中：
$0: 获取当前脚本的名称
$#: 传递给脚本的参数个数
python发邮件问题
- 博客分类：
- python
ImportError: No module named mime.text
2013年6月21日woyoo1,433 浏览数发表评论阅读评论
生成环境的一个python脚本执行报错，老版本python中MIMEText 写法不对
shell插件 for eclipse
- 博客分类：
- eclipse插件
How to get EclipseShell
Add a new Update location to Eclipse with the URL http://eclipse-shell.sourceforge.net/update/
Choose EclipseShell and all the languages that you want to try out
Python 获得命令行参数的方法
- 博客分类：
- python
Python 获得命令行参数的方法
本篇将介绍python中sys, getopt模块处理命令行参数
如果想对python脚本传参数，python中对应的argc, argv(c语言的命令行参数)是什么呢？需要模块：sys参数个数：len(sys.argv)脚本名： sys.argv[0]参数1： sys.argv[1]参数2： sys.argv[2]test.py
1
hive> insert overwrite table partition_test partition(stat_date='20110728',province='henan') select member_id,name from partition_test_input where stat_date='20110728' and province='henan';
2.
from partition_test_input> insert overwrite table partition_test partition (stat_date='20110 ...
大部分利用hive做数据分析的步骤是先用hive将统计结果导出到本地文件或者Hive的其他表中，再将本地文件导入到mysql或者利用sqoop将Hive表导入到mysql中。 今天同事给推荐了一个利用udf函数直接将统计结果导入mysql的方法。 步骤为 hive>add jar /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar; Added /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar to class path Added resource: /usr/lib/hive/lib/ ...
shell按修改日期查找文件,并删除
- 博客分类：
- linux
find -mtime -n 代表n天以内,+n 表示n天以前
如 find . -mtime -3 找出3天内修改过的文件
按修改日期找出文件并删除
find . -mtine -3 |xargs rm -f 删除3天内修改过的文件
js判断当前日期是否为周末
- 博客分类：
- js
function isWeekEnd(date){
if( "天一二三四五六".charAt(new Date(date).getDay())=="天" ) return true;
if( "天一二三四五六".charAt(new Date(date).getDay())=="六" ) return true;
}
isweekEnd("2014-04-13")
ubuntu 14.4发行版
- 博客分类：
- ubuntu
Ubuntu 14.04 (Trusty Tahr) LTS 发布 下载地址已出
2014-04-18 06:42:04 27114 次阅读 稿源：IMCN 89 条评论
Ubuntu 14.04 代号“Trusty Tahr”，终于发布了，这是一款长期支持版本，同时提供五年的支持和维护服务；其中Ubuntu GNOME 版本提供长达三年的支持和维护服务。默认内核 kernel 3.13.9，点击启动器图标最小化窗口，局部综合菜单（该功能也被用于 GNOME 3.12），改进对话框
单例模式例子（饿汉与懒汉）
- 博客分类：
- 设计模式
.饿汉式单例类
1 //饿汉式单例类.在类初始化时，已经自行实例化 2 public class Singleton1 { 3
hadoop 额外的classpath设置
- 博客分类：
- hadoop
在 $HADOOP_HOME/conf/
vim hadoop-env.sh
for f in $HADOOP_HOME/lib/*.jar; do
if [ "$HADOOP_CLASSPATH" ]; then
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$f
else
export HADOOP_CLASSPATH=$f
fi
done
保存
最后 source hadoop-env.sh
说到ETL开源项目，Kettle当属翘首，因此，偶决定花点时间了解一下。项目名称很有意思，水壶。按项目负责人Matt的说法：把各种数据放到一个壶里，然后呢，以一种你希望的格式流出。呵呵，外国人都很有联想力。看了提供的文档，然后对发布程序的简单试用后，可以很清楚得看到Kettle的四大块：
Chef——工作(job)设计工具 (GUI方式) Kitchen——工作(job)执行器 (命令行方式) Spoon——转换(transform)设计工具(GUI方式) Span——转换(trasform)执行器(命令行方式)
嗯，厨师已经 ...