suncf1985
- 浏览: 28874 次
- 性别:
- 来自: 哈尔滨
-
最新评论
-
di1984HIT：
下次用用~
hadoop 集群调度 Azkaban2搭建 -
di1984HIT：
这特太详细了啊~
hadoop 2.0 chd4.4.0安装 -
w156445045：
3.重新启动 -clear 这个-clear是啥意思 到哪 ...
Eclipse3.8安装axis2插件 异常解决 java.lang.reflect.InvocationTargetException -
xiezhuogang：
呵呵，谢谢了
MyEclipse快捷键与插件大全 -
macrochao：
有点用，好多没用过
MyEclipse快捷键与插件大全
文章列表
介绍
Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。
它有如下功能特点：
Web用户界面
方便上传工作流
方便设置任务之间的关系
调度工作流
hadoop 2.0 chd4.4.0安装
- 博客分类：
- JAVA技术
序号 主机IP 主机名称(root/redhat) 远程管理IP 远程管理帐号口令
1 192.168.101.120 cup-slave-4 192.168.101.150 user1/hadoop123
2 192.168.101.121 cup-slave-1 192.168.101.151 user1/hadoop123
3 192.168.101.122 cup-master-1 192.168.101.152 user1/hadoop123
4 192.168.101.123 cup-master-2 192.168.101.153 user1/hadoop123
5 192.1 ...
awk操作多个文件
ARGIND==1 时,处理第一个加发的文件,将文件的三列分别放到数组a b c 中.
其中数组a中存放的内容与文件2的$5相关联,并将文件1中的唯一id做为数组的下标
在读取第二个文件时,对每条记录进行判断.
#!/bin/sh
awk -F'|' 'BEGIN{}
OFS="|";
ARGIND==1{a[$1]=$1;b[$1]=$2;c[$1]=$3}
ARGIND==2{
if($5 in a){
app_99 = substr(c[$5],4,2);
if(app_99 == 99){
print $1,$2,$3,$4,c ...
awk '!a[$0]++' xhyt_app_001.txt
说明:
!a[$0]++
将每一行以数组下标形式存入数组中
从0开始,有相同的加1,并取非.
date +"%Y-%m-%d %H:%M:%S" && awk '!a[$0]++' xhyt_app_001.txt > app.txt && date +"%Y-%m-%d %H:%M:%S" && mv xhyt_app_001.txt xhyt_app_0001_bak.txt && mv app.txt xhyt_ap ...
由于处理数据过于庞大,需要规定文件大小,此文中文件大小按过滤的记录是有效性进行划分.
if(NR % 57000000 ==0){
url_filename=file_name_everyone"_"NR"_url.txt";
noice_filename=file_name_everyone"_"NR"_noice.txt";
app_filename=file_name_everyone"_"NR"_app.txt";
app_a19_filename=fi ...
本文转载自: 外刊IT评论 http://www.aqee.net/
这里说的“瑞士军刀”是指那些简单的一句命令就能完成其它高级语言一大片代码才能完成的工作。
下面的这些内容是Quora网站上Joshua Levy网友的总结：
通 过sort/uniq获取文件内容的交集、合集和不同之处：假设有a、b两个文本文件，文件本身已经去除了重复内容。下面是效率最高的方法，可以处理任何 体积的文件，甚至几个G的文件。(Sort对内存没有要求，但也许你需要用 -T 参数。)可以试着比较一下，你可以看看如果用Java来处理磁盘上文件的合并，需要用多少行代码。
cat a b | sort | uniq ...
awkshtest.sh 内容如下:
#!/bin/sh
awk -F, 'BEGIN{OFS=",";print "......解析文件开始........"} END{print "......解析文件结束......"}
ARGIND==1{a[$1]=$1} #将t_mobile.txt漫游用户存入数组 a中
ARGIND==2{b[$1]=$1} #将t_plan_user.txt漫游用户存入数组b中
ARGIND>2{
if(0 == (match(tolower($1),/.*(\.gif|\.png|\.jpeg| ...
一、数学函数
ABS(x) 返回x的绝对值
BIN(x) 返回x的二进制（OCT返回八进制，HEX返回十六进制）
CEILING(x) 返回大于x的最小整数值
EXP(x) 返 ...
eclipse3.8安装axis2 插件时出现An error occurred while completing process -java.lang.reflect.InvocationTargetException 异常.提供如下二种解决办法:
第一种:
更换axis2的插件版本,换到1.3可以解决此问题
第二种:(推荐)
1.axis2插件版本为:1.6.2
2.复制jdk1.6目录下的jre目录复制到eclipse目录下
3.重新启动 -clear
4.成功!
此二种方法本人亲测!
准备工作:
1.下载axis2相关文件
http://www.apache.org/dist//axis/axis2/java/core/1.6.1/
下载: 1.6.1-bin.zip,axis2-1.6.1-war.zip
下载:二个相应的插件
2.解压axis2-1.6.1-war.zip,将axis2.war复制到tomcat/webaps目录下
3.解压axis2-1.6.1-bin.zip,放至相应目录(后边会用到)
4.启动tomcat,输入:http://localhost:8080/axis2
开始搭建:
1.建立web project工程 axis2Demo(jdk1. ...
oracle 随机取数
- 博客分类：
- JAVA技术
select a.machine_name 平台名,
b.mm_pct 内存使用率,
c.mc_pct CPU使用率,
d.md_pct 磁盘使用率
from rt_machine sample ( 5 ) a,
rt_monitor_memory sample ( 5 ) b,
rt_monitor_cpu sample ( 5 ) c,
rt_monitor_disk sample ( 5 ) d
where a.id = b. ...
CKeditor 下载地址:http://ckeditor.com/download 请下载 java版地
CKfinder 下载地址:http://ckfinder.com/download 也是java版地
首先配置 CKeditor ,从 FCKeditor 升级到CKeditor后 简单了很多,几步搞定
1.先下载好的文件,复制到Web-Root下,另不另加一个文件夹,随自己喜欢
2.复制好之后什么都不用动.
3.JSP文件头部引入: <%@ taglib uri="http://ckeditor.com" prefix="ckeditor" ...
window.open
打开窗口时，可以很轻松的取得其父窗口。项目中需要用 showModalDialog打开窗口，想要取得父窗口值，而且还要在 open的基础上修改
为了不让 window.returnValue 所返回的值不是那么烦索，就要想办法如何用showModalDialog
打开的窗口取得其父窗口。何理利用 showModalDialog 传入的参数便可以解决这个问题。
话不多说，看例子：
a.html ---->父窗口
<html>
<head>
<script type="text/javascript&qu ...
DIV动态创建与删除
- 博客分类：
- JAVA技术
JS添加方法:
function copySelectInfo(v){
var copyInfoHtml ='<div id="newDiv'+v+'">逻辑关系:';
copyInfoHtml +='<select name="whereGuanXi">' ;
copyInfoHtml +='<option value=" AND ">与(AND)</option>';
copyInfoHtml +='<option value=" OR " ...
依次点击 window ->Preferences->java->Editor-> Mark Occurrences 如下图:
自己对想要高亮的标记打勾!
在工具栏上也有相应图标:
点上即可!